0
スパーク放送を使用してブロードキャストできる変数の最大サイズを測定しようとしています。スパーク放送変数の最大サイズを評価する
この問題に関する説明はありませんでした。
誰か測定しましたか？スパークはブロードキャストサイズの設定をしていますか？
A
答えて
0
現在は2GBまでです。あなたがブロードキャストしたものは、シリアル化中にjavaバイト配列に変換され、java配列の最大サイズはInteger.MAX_VALUEなので、この制限があります。現在のところ、この制限を増やす努力があるかもしれません：SPARK-6235
関連する問題
- 1. スパーク放送とシングルトンラッパー
- 2. アイテムごとのボタン、「管理」ページの最大数、過大評価
- 3. スパークに複数の要素またはキー値を評価
- 4. bash変数の再評価
- 5. wpfツールキットの評価サイズ
- 6. windowsバッチ変数のサイズ最大
- 7. 関数を評価する
- 8. 真に評価する最初の変数を選択するPythonic方法
- 9. マップ内のJavascript変数の評価
- 10. 評価引数
- 11. 評価関数
- 12. Boto3 - 変数を評価しないDelete_snapshot
- 13. PHP、評価コードの結果が変数
- 14. Makefile変数の拡張/評価
- 15. GDスター評価 - 上/下のサイズ - ヘルプ！
- 16. 最大サイズにウィンドウサイズを変更する
- 17. スパークのバイナリ分類の評価メトリック：AUCおよびPR曲線
- 18. Mathlinkと遅延評価/変数
- 19. Python、変数として変数の値を評価
- 20. xgboost4j - スパーク評価にはRDDが必要です[（Double、Double）]
- 21. 同じテキストのCharとString変数の等価性評価
- 22. NightmareJS複数評価
- 23. Pythonの評価式で変数を評価する方法を遅らせるには
- 24. How.findを使ってxpathの変数を評価するには？
- 25. WebRTC大規模放送
- 26. Mathematica：ブラックボックス関数の数値最適化時の評価順序
- 27. どのように変数を評価する
- 28. 魚の変数を評価する方法
- 29. JavaScriptでブール変数を評価する際のPerk？
- 30. Python 3文字列の変数を評価する