sparkアキュムレータのリセット

ドライバでスパークアキュムレータをリセットする方法があるため、エグゼキュータのアキュムレータもクリーンアップされます。sparkアキュムレータのリセット

実際にはList> のAccumulatorを持っています。すべてのExecutorがタプルをアキュムレータに追加し、ドライバがそれを読み込みます。問題は、エグゼキュータのヒープがいっぱいになることです。

ドライバがすべてのデータを読み込むと、エグゼキュータはローカルデータを必要としません。

おかげ

2016-08-22 minsky

あなたはアキュムレータの公開方法setValue()を使用してドライバにより、アキュムレータをリセットしようとしているのだろうか。

あなたはその確信している場合は、何でもあなたの蓄圧式の例えば『ゼロ』オブジェクトである、または（小さなオブジェクトに値『』ヌルアキュムレータをリセットするために、すなわちsetValue()方法、これを使用することができるかもしれませんアキュムレータは決して再びアクセスされない）。

2017-01-18 11:46:48

答えて