マルチスレッドドライバからApache Spark SQLジョブを起動する

Question

Sparkを使用して約1500のリモートOracleテーブルからデータを取得したいと思っていましたが、スレッドごとにテーブルをピックアップするマルチスレッドアプリケーションそれぞれのテーブルから読み取るスパークジョブを起動します。スパークは、アプリケーション間でのスケジューリングのための設備を提供で実行されていることを公式火花サイトから

それは、これが働くことができることは明らかだhttps://spark.apache.org/docs/latest/job-scheduling.html ...

...クラスタマネージャ。次に、各Sparkアプリケーション内で、複数の「ジョブ」（Sparkアクション）が異なるスレッドによってサブミットされた場合、同時に実行されている可能性があります。アプリケーションがネットワーク経由で要求を処理している場合は、これが一般的です。 Sparkには、各SparkContext内でリソースをスケジュールするための公平なスケジューラが含まれています。

あなたはSOあり、この同様の質問には受け入れ答えはなかったし、ほとんどのupvoted答えは

で始まる。これは、スパーク

の精神で実際にはないことを Concurrent job Execution in Spark投稿この中で気づいたかもしれませんが

1. 誰もが、それはスパークの精神が何であるかを気にスパーク
2. の「精神」ではありません知っていますか？実際には何も意味しません。

誰もこれまでのように何かを手に入れましたか？特別なことをしなければなりませんでしたか？私は多くの作業時間を無駄にする前に、ちょっとした指針を求めていました。私は本当にこれに関する助けに感謝します！

Answer 1

sparkコンテキストはスレッドセーフなので、多くのスレッドから並列に呼び出すことができます。 （私は本番環境で行っています）

実行中のスレッドの数を制限することに注意してください。
1.実行スレッドのメモリはすべてのスレッド間で共有されており、OOMキャッシュから常にメモリ内外にスワップする
2. CPUが制限されているため、コアよりも多くのタスクが改善されません。

Answer 2

マルチスレッドアプリケーションでジョブをサブミットする必要はありませんあなたがそうすることができなかった理由はありません）。あなたの仕事を個々のプロセスとして提出するだけです。これらのジョブを一度に1つずつ提出し、プロセスをバックグラウンドにプッシュするか、糸クラスターモードで提出するスクリプトを用意してください。 スケジューラ（糸、mesos、スパーククラスタ）は、メモリおよび/またはCPUの可用性に基づいて、すべてのスケジューラが同時に実行できる余地がないため、ジョブの一部を待機させます。

複数のパーティションを使用してテーブルを処理すると、私はあなたのアプローチに利点があることに注意してください。また、多くのテーブルを処理する必要があるため、どれだけのメリットがあるかわかりません。テーブル・データを使って何をするかによって、より簡単になり、単一のスレッド・ジョブと非スパーク・ジョブを複数実行させることができます。

また、@cowbert氏のメモを参照してください。