Scala：複数のSpark Dataframeを行で結合する方法は？

Question

unionAllを使用して2つのデータフレームをローでマージする方法については既に説明しました。here

ループのないデータフレームのシーケンスにunionAll（または同様の機能）を適用し、varを定義する方法はありますか？シーケンスの長さがわからないとしますか？

ありがとうございます！

Answer 1

private def unionAll(dataFrames: Seq[DataFrame], sqlContext: SQLContext): DataFrame = dataFrames match { 
    case Nil => sqlContext.emptyDataFrame 
    case head :: Nil => head 
    case head :: tail => head.unionAll(unionAll(tail, sqlContext)) 
} 

空のDF（正しいスキーマを持たない）を空でないものと結合しないようにするために、2番目のケースが必要です。

は、リストが空でない場合、すべてのDataFramesが同じスキーマを共有すると仮定します。