2016-11-10 2 views

答えて

0

をKryoがデフォルトではないだけで理由は、カスタムの登録要件であるが、我々は、任意のネットワークを多用するアプリケーションでそれをしようとお勧めします。

公式のSpark Documentationより。

+0

ありがとう - "カスタム登録要件" - これを知っていますか? – ThatDataGuy

+0

もちろん。コード例[here](http://spark.apache.org/docs/latest/tuning.html#data- serialization)で確認できます。 Kryoを使用しないと、java.io.Serializableインターフェイスを実装するだけで済みます。しかし、あなたがKryoを使うときは、それ以上のことをしなければなりません。 –

+0

多くのありがとう - 私はpysparkを使用している場合、それはまったく助けになるのですか? – ThatDataGuy

1

これらのデフォルト設定でいくつかの会話を見てから、sparkの多くのデフォルト設定が、ノートパソコンで何かを実行しようとしている典型的な1番目のユーザーのために、スパークが何であるかを感じる。

パフォーマンスの心配や実際のクラスタへの展開の問題に苦しんでいる人は、すでに多くの人が問題空間のために何ができるのかを見極めることを決めました。そして、クラスを登録するのに必要な特別なコードを与えられれば、彼らはカイロのようなものが良いかどうかを判断するのに時間を費やすことができます。

関連する問題