2017-02-28 5 views
1

投与量スパークシリアル化はすべてのオブジェクト参照に対してオブジェクトを生成しますか?オブジェクト参照のスパークシリアル化

1つの大きなオブジェクトを参照するすべての行は、実際にはすべてがオブジェクト参照であるため、全体のデータが1Gを超えていないためです。 しかし、キャッシングは悪いことが起こる(the partition is too large to save)。

Javaシリアル化preserving object reference by id
スパークは同じですか?それとも、すべてのリファレンスを明確化(爆発!)していますか?私はこれについての文書を見つけることができませんが、私はそこにあるべきだと思います。

答えて

関連する問題