私が読んだすべてのブログでは、KryoSerializerがデフォルトのjavaシリアライザより優れていると書かれています。では、なぜデフォルトでは有効になっていないのですか?私は、この発見したSPARKでKryoSerializerがデフォルトで有効になっていないのはなぜですか?
2
A
答えて
0
:
をKryoがデフォルトではないだけで理由は、カスタムの登録要件であるが、我々は、任意のネットワークを多用するアプリケーションでそれをしようとお勧めします。
公式のSpark Documentationより。
1
これらのデフォルト設定でいくつかの会話を見てから、sparkの多くのデフォルト設定が、ノートパソコンで何かを実行しようとしている典型的な1番目のユーザーのために、スパークが何であるかを感じる。
パフォーマンスの心配や実際のクラスタへの展開の問題に苦しんでいる人は、すでに多くの人が問題空間のために何ができるのかを見極めることを決めました。そして、クラスを登録するのに必要な特別なコードを与えられれば、彼らはカイロのようなものが良いかどうかを判断するのに時間を費やすことができます。
関連する問題
- 1. PHPでバッファリングがデフォルトで有効になっていないのはなぜですか?
- 2. Spark履歴ログがClouderaのOozie Sparkアクションで有効になっていない
- 3. デフォルトで物理Webが有効になっていないのはなぜですか?
- 4. デフォルトでタブが有効になっていないJqueryタブ
- 5. Javaですべての暗号スイートがデフォルトで有効になっているのはなぜですか?
- 6. ボタンが有効になっていないのはなぜですか?
- 7. デフォルトでjunitのロールバックが有効になっていますか?
- 8. DoubleBufferedがデフォルトで無効になっているのはなぜですか?
- 9. SQL ServerでANSIパディングがデフォルトで有効になっているのはなぜですか?
- 10. READ_COMMITTED_SNAPSHOTがデフォルトでオンになっていないのはなぜですか?
- 11. MySQLではデフォルトでINNODBが有効になっていますか?
- 12. なぜw3バリデーターはonClickが有効でないと言っていますか?
- 13. ルートノードの値が有効でないのはなぜですか?
- 14. Postgresビューで行レベルのセキュリティが有効になっていないのはなぜですか?
- 15. XCodeでループがデフォルトでオフになっているのはなぜですか?
- 16. Flexでアクセシビリティがデフォルトでオフになっているのはなぜですか?
- 17. Visual Studio 2008でデバッグが有効になっていると、デバッグが有効になっているのはなぜですか?
- 18. クライアントバージョンのWindowsでは、ミニダンプがデフォルトで有効になっていません
- 19. Xcode 7で「アドレスサニタイザを有効にする」が無効になっているのはなぜですか?
- 20. なぜCで&(&i)が有効でないのですか?
- 21. CNMeMが有効になっているのはなぜですか?Theanoでは 'cuDNN not available'ですか?
- 22. Rack :: Deflater gzipがRuby on Railsでデフォルトで有効になっていない理由はありますか?
- 23. numlockがデフォルトでオフになっているのはなぜですか?
- 24. スクロールアニメーションが無効になっていないのはなぜですか?
- 25. asp.netチェックボックスが無効になっていないのはなぜですか?
- 26. .gitignoreが有効になっていないようです
- 27. メディアクエリで幅が有効にならないのはなぜですか?
- 28. デフォルトでasmx webservicesでSOAPとGETが無効になっているのはなぜですか?
- 29. App Makerドライブピッカーの選択ボタンが有効になっていないのはなぜですか?
- 30. Windows TCPソケットのSO_KEEPALIVEはデフォルトで有効になっていますか?
ありがとう - "カスタム登録要件" - これを知っていますか? – ThatDataGuy
もちろん。コード例[here](http://spark.apache.org/docs/latest/tuning.html#data- serialization)で確認できます。 Kryoを使用しないと、java.io.Serializableインターフェイスを実装するだけで済みます。しかし、あなたがKryoを使うときは、それ以上のことをしなければなりません。 –
多くのありがとう - 私はpysparkを使用している場合、それはまったく助けになるのですか? – ThatDataGuy