パンダのデータフレームを行単位でディスクに保存する

Question

パンダはmany output formatsです。データフレームに行を反復的に追加し、すぐにディスクに書き込むのに最適なのはどれですか？プログラムやマシンがクラッシュした場合、最後に計算された行はまだ保存され、結果のデータファイルは破損していませんか？

この機能の例は、個々のto_*()関数のドキュメントストリングで見つかりませんでした。

Answer 1

あなたはpd.HDFStore.append()又はdf.to_hdf(path, 'table_name', append=True)を使用することができ - HDF docsを参照し、そして.append() docs

使用例はdfは、単一の行を表すと、次のようになります。

df.to_hdf('store.h5','table',append=True) 

又は

pd.HDFStore('store.h5).append('table_name', df) 

Answer 2

一つの解決策であろうデータフレームに降伏する前にディスクに書き込むカスタムジェネレータを書くこと

data = [(0,1,'a'), (0,2,'b'), (1,2,'c')] 
def writeGen(data_tuples): 
    with open('file.csv', 'w') as f: 
     for data in data_tuples: 
      string = ','.join(str(c) for c in data) + '\n' 
      f.write(string) 
      yield data 

pd.DataFrame(writeGen(data)) 

上記expectd andOutputsようcsvファイルを書き込みます。

0 1 2 
0 0 1 a 
1 0 2 b 
2 1 2 c