java8 parallelstream（）は、stream（）と比較してメモリ使用量が多くなります

Question

私は巨大なデータセットを扱っています。私は並列処理が必要ですが、私はjava8 stream apiに問題があります。私はそのようなコードを単純化しました。 parallelStream()をstream()に変更すると私のプログラムは最大メモリとして16GBを使用します。

以下のコードでは、32GBのメモリでは不十分です。これを改善する方法はありますか？

List<Class2> result = querySource 
.parallelStream() 
.map(m -> { 
    List<Class1> rows = getSourceByDB(m); 
    return rows; 
}) 
.map(m -> { 
    List<Class2> result = Common.convertToClass2(m); 
    return result; 
}).flatMap(f -> f.stream()) 
.collect(Collectors.toList()); 

Answer 1

パラレルストリームの使用common fork-join thread pool。パラレルストリームは、並列化を利用してすべてのCPUコアを利用するCPU集約型のプログラムを使用している場合に使用すると効果的です。例指定されたリスト内のすべての数を追加し、与えられたリスト内の素数を見つけます。

複数のリソース/外部リソースを使用する場合は、並列ストリームはお勧めできません。このシナリオを考えてみましょう.1つのスレッドがRESTfulなサービスにアクセスして情報を取得し、内部で奇数の合計を計算するその他のスレッドを取得します。第2のスレッドは実行を完了し、他のスレッドを待つ（すなわち、それぞれが異なるリソースを必要とするにもかかわらず、他のスレッドをブロックする）。

膨大なメモリを消費する理由は、前述の一般的なfork-joinスレッドプールのシナリオ、つまりスレッドが別のスレッドを待機しているためです。外部リソースが関与している場合はParallel Streamを使用しないでください。