2017-02-09 11 views
0

テキストファイルの1000行ごとに繰り返したいと思います。私はデータベースと同様のことをやろうとしていましたが、そこには1000行ごとに新しいIDを書いて、それを繰り返しました。今私はテキストファイル自体でそれをしたいと思います。それを行うためのいくつかのpythonic方法はありますか?私はこれまでにしか来なかった。Pythonのテキストファイルの1000行ごとに繰り返します。

import pandas as pd 

input_file = 'text.csv' 
my_input = pd.read_csv(input_file, sep = ';') 
length = my_input.shape[0] 
start = 0 
end = 999 
#for the length of the whole document take the lines in range(start,end) 
    do stuff 
    start =+ 1000 
    end =+ 1000 
+0

まず、ファイルをそのまま読み込むか、csvファイルとして読むか、そのデータフレーム表現を使用するかどうかを決定する必要があります。 – DeepSpace

+0

@DeepSpace各行の属性が必要なので、ある時点でデータフレームが必要になると思います。しかし、最初に1000行を読み込んでから、データフレームを作成して属性を読み取ることは可能でしょうか? – student

答えて

0

これは、ブレーズライブラリで動作するようです。

import pandas as pd 

input_file = 'text.csv' 
my_input = pd.read_csv(input_file, sep = ';', names=['a', 'b', 'c'] 
for chunk in blaze.odo(my_input, target=bz.chunks(pd.DataFrame), chunksize=1000): 
    for index, row in chunk.iterrows(): 
      variable1 = row['a'] 
      variable1 = row['b'] 
      do stuff 
関連する問題