1つの大きなプロセスまたは多くの小さなプロセスで、メモリ使用率が向上していますか？

Question

私は、要素のすべての組み合わせを処理する、配列のペアを反復処理する、メモリを必要とするアプリケーションを持っています。現在、このスクリプトは非常にRAMが必要です。それは約3GBのRAMを使用して終了します。

は、私の質問はこれです：

は、一つの大きなプロセスにおける各要素の組み合わせを処理するために多くのメモリ効率的ですか？または、各組み合わせに対して新しいサブプロセスを開始する方がよいでしょうか。 "より良い"、私は意味 "を使用少ないRAM" と

import subprocess 

for i in param_set1: 
    for j in paramset2: 
     subprocess.call([Do_A_Big_Job_Script, i, j]) 

：

for i in param_set1: 
    for j in paramset2: 
     Do_A_Big_Job(i, j) 

またはオプション2：つまり

は、それがより良いオプション1を行うことです。

ありがとうございます！

私は明らかにメモリ使用について興味があります。プロセスが終了すると、UNIXシステムはそのメモリを解放しますか？これは、の合理的には書かれたスクリプトのpythonのガベージコレクションよりも効率的ですか？私は利用可能なコアがたくさんないので、私は複数のプロセスが多かれ少なかれ並列に実行することを期待します。

Answer 1

1つのプロセスを実行するとRAMの使用量は少なくなりますが、複数のCPU /コアを利用するのは難しくなります。

どれくらい時間がかかっても構わない場合は、1つのプロセスを実行してください。

妥協点として、一度にすべてを起動するのではなく、一度にいくつかのプロセスを実行することができます。