Pythonを使用して大きなファイル（9GB）を開く方法は？

私はデータを分析する必要がありますが、ファイルは9Gbです。オープンしようとすると、Pythonが中断され、MemoryErrorを返します。Pythonを使用して大きなファイル（9GB）を開く方法は？

data = pd.read_csv("path.csv") この問題を解決する方法はありますか、このファイルを削除する必要がありますか？

2016-05-05 Anonymous

は、あなたが全体のファイルを開く必要がありますか：次のようにデータの各「チャンク」にしたい行数を指定して開きましたか？あなたは一度にチャンクを返す 'read_csv'に' chunksize'パラメータを渡すことができます。また、64ビットのPythonやOSなどを使っていますか？ – EdChum

どのような種類のデータが入っていますか？たぶん、サンプルの1行か2行が役に立ちます。そして、その中のすべてのデータ、あるいは部分集合だけが必要ですか？あなたのシステムにどれだけのメモリがありますか？このファイルの1 GBサブセットを試しましたか？ 64ビットOSをお持ちですか？どのOS？ –

ファイルをジェネレータとして使用する場合（f：in行のためにf：としてopen（file）を使用する場合）、これを一度にアップロードする必要はなく、繰り返し実行することができます。私はあなたがメモリ – trainset

EdChumに言及したように、私はchunksize=nを使用して大きなファイルをチャンクで開き、チャンクをループして必要な処理を行います。

chunks = 100000 
data = pd.read_csv("path.csv", chunksize=chunks) 
for chunk in data: 
    print "something"

・ホープ、このことができます:)

出典

2016-05-05 16:11:03 EllieFev

Pythonを使用して大きなファイル（9GB）を開く方法は？

答えて

関連する問題