Spark SQLでCROSS JOINとCROSS APPLYを使用する方法

Question

SparkとScalaには非常に新しく、Spark SQLコードを書いています。私は自分のロジックにCROSS JOINとCROSS APPLYを適用する状況にあります。ここでは、SQLを起動するために変換する必要のあるSQLクエリを投稿します。

select Table1.Column1,Table2.Column2,Table3.Column3 
from Table1 CROSS JOIN Table2 CROSS APPLY Table3 

上記のクエリをSpark SQLのSQLContextに変換する必要があります。親切に私を助けてください。前もって感謝します。

Answer 1

まず、クロス/デカルトが参加いたします

spark.sql.crossJoin.enabled=true 

その後、dataFrame1.join(dataFrame2)スパークconfの中で、以下のプロパティを設定し

我々も同じ

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...") 

を行うために、クエリの下に使用することができます