2016-11-10 20 views
0

5行を含むcsvファイルがあるとします。パンダを使ってCSVファイルの最後のチャンクを取得する方法は?

今、私は2

data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2) 

のチャンクを使用してこのファイルを反復処理するには、私は、このデータチャンクにいくつかの魔法を行うと、別のcsvファイルにそれを追加していたとします。

processed_data.to_csv(fname, index=None, mode="a") 

問題:は、最後の行が書かれていません。

この問題の解決方法はわかりません。助けてもらえますか?

RAMが足りないため、チャンクを使用する必要があります。

ファイルの開閉に時間がかかりすぎるため、chunksize=1は使用できません。

+2

あなたの「魔法」の間にどこかに問題がなければなりません。このメソッドを使用すると、すべての行を繰り返し処理できます。おそらく、データをprocessed_dataに移動する方法の例を示すために、答えを更新する必要があります。 – AlexG

答えて

関連する問題