停止時間ゼロのspark cassandraクラスタの自動スケーリング

spark cassandraクラスタリソース（ワーカー、エグゼキュータ、コア、メモリなど）を作業負荷に基づいて動的に追加または削除する方法はありますか？展開前にクラスタリソースを予測できますか？クラスタからノードをスケールダウン/削除するときに、データを使って行うことができます。停止時間ゼロのspark cassandraクラスタの自動スケーリング

出典

2017-03-02 askquestion

詳細を教えてください。展開する前にクラスタリソースを予測するとはどういう意味ですか？どんな種類のクラスタを実行していますか？スタンドアロンスパーク、ヤーン、メゾス？どのような種類のノードを削除したいですか？エグゼクティブをスパークする？カサンドラノード？ – LiMuBei

クラスタはスパークYARNです。私の理解によると、executersの追加/削除は、sparkの動的割り当てによってサポートされています。それはストレッチをサポートするか、クラスタのサイズを絞ることです。 sparkワーカーノードとcassandraノードを別々に追加/削除できますか？もしそうなら、それを行う方法。 spark workerとcassandraノードの追加/削除を正確にトリガーするものは何ですか？ – askquestion

例：私は4ノードのspark cassandraクラスタで始まり、毎日100GBのデータがクラスタを管理する方法よりも進んでいますか？ – askquestion

スパークは、設定オプションの多くが付いている労働者の動的割り当てをサポートし、https://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

ショートバージョンを参照してください。タスクキューは、スパークが執行の割当てを解除します

いっぱいになったとき

スパークは、新たな執行を割り当てることができます彼らがしばらくの間アイドル状態になっているとき
実行者は起動時に設定されたコア/メモリの量を割り当てられるので、賢明に選択してください
キャッシュは動的割り当ての影響を受けます（主にエグゼキュータが割り当て解除されます）

出典

2017-03-02 09:43:41 LiMuBei

ありがとうございます。私は基本的に、データの局所性を保持することによって、スパーク・カランダ・クラスタ内のノードを追加/削除することに興味があります。 – askquestion

停止時間ゼロのspark cassandraクラスタの自動スケーリング

答えて

関連する問題