スパークデータフレームの列の位置を変更するにはどうすればよいですか？

Question

実際にスキーマを変更するために、データフレーム内の列の位置を変更できるかどうか疑問に思っていましたか？

私は[field1、field2、field3]のようなデータフレームを持っていて、[field1、field3、field2]を取得したいと思っています。

ご協力いただければ幸いです。

ありがとうございました。

編集：コードを挿入することはできません。 いくつかの結合と変換の後に、100個の列を持つデータフレームで作業しているとしましょう。これらの列の一部は、宛先テーブルのスキーマに関して誤って配置されています。 私の要点は、1つまたは複数の列を移動する方法、つまりスキーマを変更する方法です。

ありがとうございました。

Answer 1

あなたは、カラム名を取得する、しかし、あなたが望むそれらを並べ替え、その後にselectを使用することができますこの新しい順に新しいものを得るために、元のデータフレーム：小さな異なるバージョンが@Tzachゾハルと比較

val columns: Array[String] = dataFrame.columns 
val reorderedColumnNames: Array[String] = ??? // do the reordering you want 
val result: DataFrame = dataFrame.select(reorderedColumnNames.head, reorderedColumnNames.tail: _*) 

Answer 2

他の人がコメントしたように、名前で列を照会できるときに順序が関係しないので、なぜこれを行うのかが分かりました。列を感じを与える必要があります選択を使用してとにかく

は、スキーマの説明に移動している：

val data = Seq(
    ("a",  "hello", 1), 
    ("b",  "spark", 2) 
) 
.toDF("field1", "field2", "field3") 

data 
.show() 

data 
.select("field3", "field2", "field1") 
.show() 

Answer 3

val cols = df.columns.map(df(_)).reverse 
val reversedColDF = df.select(cols:_*) 

Answer 4

spark-dariaライブラリは、データフレームの列の順序を変更することが容易になりますreorderColumns方法があります。

import com.github.mrpowers.spark.daria.sql.DataFrameExt._ 

val actualDF = sourceDF.reorderColumns(
    Seq("field1", "field3", "field2") 
) 

reorderColumns方法は、ボンネットの下@Rockieヤンの溶液を使用します。

あなたがdf2の列の順序を等しくなるようにdf1の列の順序を取得したい場合は、このようなものは、すべての列をハードコーディングするよりも良いが動作するはずです：

df1.reorderColumns(df2.columns) 

spark-dariaライブラリはまたにsortColumns変換を定義します列を昇順または降順にソートします（シーケンス内のすべての列を指定しない場合）。

import com.github.mrpowers.spark.daria.sql.transformations._ 

df.transform(sortColumns("asc"))