pysparkデータフレーム列の処理方法

Question

ラベル/ヘッダーのない4k列以上のpyspark dfがあります。列の値に基づいて、各列に対して特定の操作を適用する必要があります。

私はパンダを使って同じことをしましたが、私はパンダを使いたくないので、スパークデータフレームに列方向の変換を直接適用したいと思います。 dfがlabelを持たない> 4k個のカラムを持つ場合、どのようにカラムワイズ変換を適用できますか。また、特定のdfカラムインデックスに変換を適用したくありません。

Answer 1

Sparkのドキュメントによると、データフレームにはあなたの言ったこととは異なり、ヘッダーが含まれています。これはデータベーステーブルとよく似ています。いずれの場合においても

、シンプルforループはトリックを行う必要があります。

for column in spark_dataframe.columns: 
    (do whatever you want to do with your columns)