executors

3熱

1答えて

私はJenkinsと並行してテストを行っています。私が設定した方法は、3つの他のジョブを並列に実行するビルドフロージョブがあることです。他の3つのジョブは、別々のTest XMLファイルに接続されています。私が最初にこれを開始したとき、2つのジョブしか実行されず、3つ目のジョブは他のジョブが終了した後にのみ実行されるという問題がありました。これは私のジェンキンズがエグゼキュータの数を「2」に

0熱

1答えて

使用

私はFutures よう List<Future<String>> results = executorService.invokeAll(tasks); または Future<String> res = executorService.submit(new SingleWorker()); System.out.println(res.get()); を使用していた場合、システムが完了

0熱

1答えて

実行者が異なる間隔でスケジュールされています

私は、システムの初期化から10日後、システムの初期化から20日後、月の毎月1日後にレポートを送るnewSingleThreadScheduledExecutorでExecutorsをスケジュールしようとします。私は毎日実行されるnewSingleThreadScheduledExecutorを使用しようとしました。今日が10日後か20日後かを確認しました。しかし、私たちはいくつかのエグゼキュー

0熱

1答えて

Spark scalaのエグゼキュータ間でオブジェクトをブロードキャストする方法は？

私は変数の値をブロードキャストできると確信していますが、エグゼキュータ間でドライバで作成されたオブジェクトをブロードキャストする方法がわかりません。 ScalaプログラムでサードパーティのJavaクラスのオブジェクトを作成しています。私は、クラスの同じインスタンスを複数のオブジェクトを作成するのではなく、すべてのエグゼキュータに共有したいと考えています。私は、ブロードキャスト方法が変数の値をブロ

4熱

4答えて

ExecutorServiceは決して停止しません。他の実行中のタスクの中で新しいタスクを実行する場合

おはよう。私のウェブクローラープロジェクトでブロッカーの問題があります。ロジックは簡単です。まずRunnableを1つ作成し、html文書をダウンロードしてすべてのリンクをスキャンし、すべての資金提供リンクに新しいRunnableオブジェクトを作成します。新しく作成されたそれぞれのRunnableは、順番に各リンクの新しいRunnableオブジェクトを作成し、実行します。問題はExecuto

1熱

1答えて

Apache SparkでExecutorAllocationManagerSourceメトリックを有効にする方法

Apacheのスパークで一般的なメトリックを有効にするドキュメントは、一種の薄い：インスタンス内は、「ソース」は、グループ化されたメトリックの特定のセットを指定します。 Sparkコンポーネントの内部状態を収集するMasterSource、WorkerSourceなどのSpark内部ソースは、次の2種類のソースがあります。各インスタンスは、自動的に追加されるSparkソースとペアになります。低

3熱

1答えて

Java executorの代わりにNIO（またはnettyのようなフレームワーク）を使用するのはなぜですか？

ちょうど最近、NIOについて学びました。私が理解したところでは、NIOの主な利点は、NIOのノンブロッキング機能により、1つ（または少数）のスレッドで多くの接続を処理できることです。しかし、Executorsを使ってこの目標を達成することはできませんし、ワーカースレッドのリストを持つことはできませんか？ NIOのエグゼクティブよりも利点はありません。代わりに、私はエグゼキュータはNIOを使うよりも

2熱

2答えて

Sparkアプリケーションは1つのエグゼキュータのみを使用します

次のコードでアプリケーションを実行しています。なぜ私は3つ持っているにもかかわらず1つのエグゼキュータが使用されている理解していません。私は範囲を増やそうとすると、私の仕事はタスクマネージャがexecutorを失う原因で失敗します。要約では、シャッフル書き込みの値がわかりますが、シャッフル読み取りは0です（すべてのデータが1つのノードにあり、ジョブを完了するためにシャッフル読み取りが発生しない可

2熱

2答えて

子スレッドがgetメソッドを呼び出す前に終了した場合、Javaが将来のタスク結果を保持する方法

子呼び出し可能スレッドのgetメソッドを呼び出す前に、メインスレッドが最初に終了する以下のプログラムを実行しています。 TThreadスレッドがもっと早く（）の呼び出しを取得するために、より完成されたため、 public class Main { public static void main(String[] args) throws InterruptedException, Exe

3熱

2答えて

スパーク - スパーク・ジョブに割り当てられる実行者とコアの数

スパーク・アーキテクチャは、エグゼキュータとコアの概念を中心に展開されています。クラスタ内で実行されているスパーク・アプリケーション用に実行されているエグゼキュータおよびコアの数を実際に確認したいと思います。私はアプリケーションで以下のスニペットを使用しようとしましたが、運はありませんでした。 val conf = new SparkConf().setAppName("ExecutorTest