Spark 2.0とSpark 1.6.1をクラスタモードで単一のクラスタ上で実行して、リソースを共有できるようにしたいのですが、これを行うベストプラクティスは何ですか？これは、1.6.1やその他のSpark 2.0に依存するコードの変更から特定の一連のアプリケーションを保護できるようにするためです。2つのバージョンのApache Sparkをクラスタモードで実行する
基本的に、クラスタはSpark 2.0の動的割り当てに依存する可能性がありますが、1.6.1ではそうでない可能性があります。これは柔軟性があります。
Dockerを使用すると、DockerがアプリケーションをIsolationで実行するため、さまざまなバージョンのSparkアプリケーションを実行できます。
Dockerは、アプリケーションの開発、出荷、および実行のためのオープンプラットフォームです。 。 Dockerを使用すると、アプリケーションをインフラストラクチャから分離し、インフラストラクチャを管理対象アプリケーションのように扱うことができます。それは、単一のナットシェルで様々なバージョンのアプリケーションを実行するには、この柔軟性を提供し、より多くの
Mesosもドッカーコンテナが https://www.docker.com/を参照してください詳細についてはマラソン
を使用して実行することができますので、
産業はドッカーを採用していますこれは!!!助け https://mesosphere.github.io/marathon/docs/native-docker.html
希望....
それでは、ポートはどのようにsparkでクラスタモードを実行して処理されるのですか - ポートを定義してエグゼキュータを再利用する方法 - アプリケーションはスパーク・クラスタ内でエグゼキュータを効果的に使用できるようにすることです。これは限られた数のマシンとコアしか使用できないためです。 –
リソースマネージャあなたはスパを利用していますrk独自のスタンドアロンスケジューラ？ –
私は何も使用していませんが、私はmesosを使用することにオープンしています... –