条件に応じてスプラインバッチでいくつかの行を渡してください

Question

すみませんが、これはいくつかの質問にノービスかもしれませんが、私の考えを超えてしまったので、私の考えを修正し、専門家から適切な提案を得る価値があると思います。ありがとうございます

私は春のバッチを使用してレコードの行を読み込んで、新しいモデルに変換しています。

すべての私のファイルの行は、この形式を持っている：

propertie1 ; prop2 ; prop3 ; prop4 ; prop5 

プロセスは、このようなものです：私はソンムものを行うために、この行を読んで、プロセッサに渡し

私の問題は、私がすべきですこの条件でアイテムプロセッサにのみ行を渡す：

If for the same value of property 5 there are 2 or more lines 
- a line with prop 4 = 0 
- a line with prop 4 = 1 
and all values are identical (prop1, prop2, prop3 , ...) 
send to the processor only the line which prp 4 = 1 

だから、最初の解決策として、私はL「からこの条件を検証し、すべての行を格納するために地図を使用することを考えてその地図私は、プロセッサに、すべてのレコードを渡す：

アルゴ：ラインファイル

店このようなマップ構造上のラインで

1. 読み取りライン：[prop5、ライン]
2. 場合新しい行には同じ小道具5（キーが地図上にあります）があり、小道具4をテストして1に等しい値の行だけを保存するために渡した値があります。
3. 最終的には、すべての行が条件を満たしている。その地図から
4. 、繰り返しを行うと、だから、私のALGOで変換

を継続するためにプロセッサにすべてのレコードを渡すが正しいか、その最高の任意のアイデアは、私は最高の高度利用とスマートな他の解決策を見つけることができますか？

Answer 1

私は大丈夫ですが、メモリ不足例外を回避するために、あなたのステップでチャンクを使用しなければなりません。

Chunk reference