これは私の問題です。今、sparkシェルの使用を開始すると、多くのリソースを消費し、おそらく制限された状態に保たれます。他の並列実行アプリケーションに影響を与えます。spark-shell消費糸資源、その停止方法
例えば、私はいくつかのspark-shellコマンドを実行していて、間違いなくシェルを開いたままにしておきます。閉じない限り、すべてのリソースは保持され、他のすべてのユーザーは何もしません。私のセッション
糸の視点からこの問題を解決する方法。
ClouderaでYarnのリソースプールの使用を設定することができます。いくつかのリソースを各ユーザーに割り当てることができます。すべてのリソースを使用しても、他のユーザーが利用できるリソースがいくつかあります。
糸資源をユーザー間で分割したくない場合。動的割り当てを使用するようにSPARKを設定できます（http://spark.apache.org/docs/latest/configuration.htmlのspark.dynamicAllocation.enabledプロパティを確認してください）。だからあなたがスパークシェルを開いたままにして、あなたの仕事が終わったら、スパークはその資源をヤーンに返すでしょう。アルノー
よろしく、 を動的割り当てを使用している間 しかし、あなたはエグゼキュータの数を設定することはできません