私は、Spark 2.0.0で 'preview' Google DataProc Image 1.1を使用しています。私の操作の1つを完了するために、私はデカルト製品を完成させなければならない。バージョン2.0.0以降、デカルト製品を禁止するspark構成パラメータ(spark.sql.cross Join.enabled)が作成され、例外がスローされています。できれば初期化アクションを使用してspark.sql.crossJoin.enabled = trueを設定するにはどうすればよいですか? spark.sql.crossJoin.enabled=true
spark.sql.crossJoin.enabled for Spark 2.x
答えて
Dataproc内の構成設定のデフォルト値を変更するために、あなたも、コマンドラインからクラスタを作成するときに--properties flagを使用することができ、初期化アクションは必要ありません。
gcloud dataproc clusters create --properties spark:spark.sql.crossJoin.enabled=true my-cluster ...
スパーク2.1+
あなたはcrossJoin
を使用することができます。
df1.crossJoin(df2)
それはあなたの意図が明示的になり、意図しないクロスが参加するからあなたを保護するための場所でより保守的な設定を保持します。あなたが明示的にデカルト積を許可したいとき
を呼び出すことができるはずですので
スパーク2.0
SQLプロパティはRuntimeConfig.set
方法で実行時に動的に設定することができます。
これは機能します!ありがとうございました! – Stijn
spark 2.1の前に 'crossJoin()'が 'DataFrame' /' Dataset'で利用できないようです。 –
@RickHaffey Spark 2.1以前のバージョンでは、 'spark.conf.set(" spark.sql.crossJoin.enabled "、true)'設定オプションで 'dataset.join(rightDataset)' APIを使用してください。このスタイルはSpark 2.1でも動作しますが、より明示的なので、.crossJoin APIが理想的です。 – Garren
のTPCDクエリセットベンチマークにはCROSS JOINS
を含むクエリがあり、CROSS JOIN
を明示的に記述するか、またはSparkのデフォルトプロパティをtrueに動的に設定しない限り、Spark.conf.set("spark.sql.crossJoin.enabled", true)
は例外エラーに遭遇します。
トランザクション処理委員会(TPC)の元のクエリ構文にコンマが含まれ、Sparkの既定の結合操作が内部結合であるため、TPCDSクエリ28,61,88、および90にエラーが表示されます。私のチームはまた、Sparkのデフォルトプロパティを変更する代わりにCROSS JOIN
を使用することに決めました。
- 1. Spark for Json Data
- 2. Spark Implicit $ for DataFrame
- 3. スパークジョブサーバfor spark 1.6.0
- 4. Spark T4 templates for ASP.NET MVC
- 5. ajax/ssl/X-Forwarded-For
- 6. XMLエディタfor OS X
- 7. Haskell Plugin for XCode 4 for OS X Lion
- 8. forループの最後に改行を削除する - python 2.x
- 9. 256色モードxterm for MacOS X
- 10. Minimalist Python Server for Unity3d 5.x
- 11. OData 4.x Parser for .NET
- 12. 各xについて...次へFor Each x ...次へx
- 13. Python log(1 + x)/ x for x near 0を計算する
- 14. for eachループfor 2 ArrayList
- 15. Log4j 2 Go for
- 16. キャンバスユーティリティfor Silverlight 2
- 17. Symfony2.xはsymfony 2.xで
- 18. cakephp 3.x 2.x用モデルアダプター
- 19. Javadoc for JavaFX 2.xは部分的にNetbeansで動作します
- 20. Elasticsearch 2.x indices.cache.filter.size
- 21. HTML5-Boilerplate、Compass、Haml、960 Grid for Rails 3.1.x
- 22. Python for .NET3.5およびPython3.xのコンパイル
- 23. ループスルーforループ%x%回のバッチで
- 24. request.ipとrequest.headersの違い['x-forwarded-for']
- 25. Webkit for Mac OS Xの入手方法
- 26. X-Forwarded-ForヘッダーとViaヘッダーの違い
- 27. IIS上でのlogstashとx-forwarded-for
- 28. swift3 for 2 counter with
- 29. ポジショニング4 divs 2 x 2
- 30. 2つのSparkコンテキスト間でSpark RDDを共有するには?
これは機能します!ありがとう、デニス! – Stijn