スパークの実行者とタスクの同時実行

Question

実行者は、2、5または6の複数のタスクを同時に実行できます。

Sparkは、同じエグゼキュータで同時に実行するタスクの数（つまり、実行中のエグゼキュータで同時に実行できるタスク数）をどのように把握（または計算）しますか？

実行者が1つのタスクを実行している可能性がありますが、1つ以上のタスクを同じ実行プログラムで同時に実行することができますか？それの基準は何ですか？

実行者のコア数は固定されており、メモリは&です。 Executableで同時に実行できるメモリの数を計算するには、メモリに&コアのSparkタスクが必要であると指定しないでください。

Answer 1

executor内で並行して実行されるタスクの数=構成されたコアの数。 この番号は、設定によっていつでも変更できます。 executor全体（並列または順次）によって実行されるタスクの合計数は、（分割数を介して）作成されたタスクの合計数とエグゼキュータの数によって異なります。

1つのエグゼキュータで実行されているすべてのタスクは、同じメモリが共有されています。内部では、コアの数だけスレッドを起動します。

Answer 2

処理しているRDDの斜めのパーティションが最も大きな問題の1つです。 2-6パーティションに大量のデータがある場合、ネットワーク上のデータシャッフルを減らすために、Sparkはエグゼキュータが自ノードにローカルに存在するデータを処理するよう試みます。したがって、2〜6人のエグゼクティブが長時間働いているのを見ることができ、他のエグゼクティブは数ミリ秒でデータを使って実行されます。

詳しくは、this stackoverflow questionをご覧ください。