複雑なプロセスを実行する必要のある従属ステップを持つバッチ・バッチ・ジョブ構成

Question

要件は次のようなものがあります。私は春のバッチに新しいので、誰かがこのケースの仕事を作成する際に私を導くことができます。

1. 取得都市
のリストを、それぞれの国のために
2. 状態のリストそれぞれの状態については
3. を取得する（たとえば、私は一度に5カ国を読む必要がある）チャンクに国のリストを読みます
4. a。各都市について、塊の人のリストを取得します（一度に1000レコードを読む必要があります）。
   b。人の情報を処理する
   c。にステップ3からステップ2からステップ3とcityIdにDB

に情報を書くすべての上記の手順が依存しているが、私は2段階にステップ1から国IDを渡す必要があると言う、STATEIDステップ4

ステップ1とステップ4の内部実行は、並行して実行できます。これは別のjvmでも実行できます

Answer 1

あなたはいくつかの選択肢があると思います。まず、org.springframework.batch.item.support.CompositeItemProcessorを見て、これらのプロセスを1つのステップ（http://docs.spring.io/spring-batch/trunk/reference/html/readersAndWriters.html#chainingItemProcessors）で連鎖させることをお勧めします。

また、プロモーションリスナーを使用してステップ間でデータを共有することもできます（org.springframework.batch.core.listener.ExecutionContextPromotionListener）。これにより、異なるステップを作成し、各ステップでコミット間隔を制御することができます。ここではプロモーションのリスナーのための基本的なXML設定の例です：

<bean id="promotionListener" class="org.springframework.batch.core.listener.ExecutionContextPromotionListener"> 
    <property name="keys"> 
     <util:list> 
      <value>countries</value> 
      <value>states</value> 
      <value>cities</value> 
     </util:list> 
    </property> 
</bean> 

あなたがインターフェイスを実装し、executeメソッドをオーバーライドして、カスタムTasklet経由ExecutionContextにパラメータを追加することができます。上記の例では、3つのリストがプロモーション・リスナーに追加されており、チェーンの下のステップ間で共有することができます。ここで

はexecuteメソッドをオーバーライドする方法の簡単な例です：

@Override 
public RepeatStatus execute(StepContribution stepContribution, ChunkContext chunkContext) throws Exception { 

    ExecutionContext executionContext = chunkContext.getStepContext().getStepExecution().getExecutionContext(); 

    executionContext.put("countries", /* country list */; 
    executionContext.put("states", /* state list */); 
    executionContext.put("cities", /* city list */); 

    return RepeatStatus.FINISHED; 
} 

あなたはおそらく三つの異なるタスクレットにこれを抜け出すにしたいと思います - あなたのプロセスの各ステップのための1 - と1つのリストあたりを追加しますタスクレット。また、エラーが発生した場合にはRepeatStatusの処理を強化したいと思いますが、これは簡単な例です。

希望に役立ちます！

Answer 2

手順＃1から手順＃4は、からデータベースを読み込んでいるため、これらの4つの手順は別々の手順を示していますが、これらの4つの手順は1つの手順です。また、問題を機能的に解決するだけでなく、DBのヒット数を減らす必要があります。 （国、州、市）は、あなたの読者が並列スレッドすなわちWHERE COUNTRY = ? AND STATE =? AND CITY = ?内の各トリプル1000のチャンクでデータを読み込む -

あなたは春のバッチ分割あなたはトリプルしてデータを分割アプローチを使用することができます。

Partitionerインターフェイスを実装し、SELECTクエリを実行してGROUP BY COUNTRY,STATE,CITYを実行してトリプレットを作成する必要があります。

その後、あなたはJdbcPagingItemReaderを返し、あなたがPagingQueryProviderのWHERE句でPartitionerに移入COUNTRY,STATE,CITY値を使用し、簡単な読者を書きます。

構文@Value("#{stepExecutionContext[...]}"を使用して、パーティション・ロジックから読者にパーティション値を注入する必要があります。

org.springframework.batch.core.partition.support.Partitioner 

あなたは一度にすべてのパーティションを実行するために必要とされることはありません - あなたはマスターのステップを分割するSimpleAsyncTaskExecutorを提供し、適切な値にそのconcurrencyLimitを設定することにより、並列スレッドの数を制御することができます。

次に、プロセッサとライターを作成します。パーティションロジックから値を注入する場合は、ステップ&のステップコンポーネントを@StepScopeにマークする必要があります。

Sample of partitiongですが、xmlベースの設定です。私はJavaベースの設定を好む。

希望すると助かります！