約120列のフラットデータ構造をSpark Parquet Scalaに格納

Question

Scalaを使用してSparkでParquetファイルとして約120列のフラットなデータ構造を格納しようとしています。 ここで私はそれについて行くことに決めました、私はそれが現在不器用なように見えるように、それをより良くするいくつかの提案やアイデアが必要です。

1. は火花のように見える（
2. 使用スパークは、個々のエンティティへの複合列を分割するために爆発上記のすべてのケースのクラスが含まれます
3. が一つの複合ケースクラスを作成したデータに基づいてケースクラスの論理的な分離を作成して爆発しますSeq/Array/Listでのみ動作するので、ステップ2）でケースクラス要素をSeqとして格納するように強制されます。
4. 寄木張りに書き出します。

アイデアを改善するには？

Answer 1

あなたはexplodeを意味しません。 Explodeは新しい行を作成します。 StructType列を単一のselectステートメントで複数の列に分割できます。

このよう

：

case class Act(a: Int, b: Seq[String]) 
case class Boo(a1: Int, b1: String) 
case class C(a: Act, b: Boo) 

val df = Seq(C(Act(1, Seq("test")), Boo(2, "this is"))).toDF 

df.show 
+--------------------+-----------+ 
|     a|   b| 
+--------------------+-----------+ 
|[1,WrappedArray(t...|[2,this is]| 
+--------------------+-----------+ 

df.printSchema 
root 
|-- a: struct (nullable = true) 
| |-- a: integer (nullable = false) 
| |-- b: array (nullable = true) 
| | |-- element: string (containsNull = true) 
|-- b: struct (nullable = true) 
| |-- a1: integer (nullable = false) 
| |-- b1: string (nullable = true) 


df.select($"a", $"a.a", $"a.b", $"b", $"b.a1", $"b.b1").show 
+--------------------+---+------+-----------+---+-------+ 
|     a| a|  b|   b| a1|  b1| 
+--------------------+---+------+-----------+---+-------+ 
|[1,WrappedArray(t...| 1|[test]|[2,this is]| 2|this is| 
+--------------------+---+------+-----------+---+-------+