forループで大規模なpickleファイルを読み込むと、メモリリークを防ぐ方法を教えてください。

Question

私はそれぞれ0.5GBのピクルファイルを50個持っています。 各ピクルファイルは、カスタムクラスオブジェクトのリストで構成されています。私は繰り返し、私はメモリリークを取得したファイル をロードしようとすると、しかし

def loadPickle(fp): 
    with open(fp, 'rb') as fh: 
     listOfObj = pickle.load(fh) 
    return listOfObj 

： は、私は何の問題 次の関数を使用して、個別にファイルをロードしていません。

l = ['filepath1', 'filepath2', 'filepath3', 'filepath4'] 
for fp in l: 
    x = loadPickle(fp) 
    print('loaded {0}'.format(fp)) 

loaded filepath2が印刷される前にメモリがオーバーフローしました。 各反復中にピクルが1つだけロードされることを保証するコードを作成するにはどうすればよいですか？

weakrefモジュールで定義されたオブジェクトや、gcモジュールを使用した明示的なガベージコレクションを使用することを推奨しますが、これらのメソッドを特定のユースケースにどのように適用するのかを理解するのは困難です。これは、私がフードの中でどのように参照が機能するかについての理解が不十分なためです。

関連：Python garbage collection

Answer 1

あなたはfor fp in l:後x = None権利を追加することによって、これを修正することができます。

変数xを逆参照し、2回目にloadPickle()を呼び出す前にpythonガベージコレクタが仮想メモリを解放できるようにするためです。