大きなcsvファイル、python、pandasのランダムな行を読む

Question

私は、大きなcsvファイルから0.18.1 pandasと2.7.10 PythonをWindows（8 Gb RAM）で使用してランダムな行を読み込む問題に直面しました。 。私はアプローチを見Read a small random sample from a big CSV file into a Python data frame で

は、しかし、非常にメモリすなわち、消費し、コードの一部であることを私のPCのために発生しました：

n = 100 
s = 10 
skip = sorted(rnd.sample(xrange(1, n), n-s))# skip n-s random rows from *.csv  
data = pd.read_csv(path, usecols = ['Col1', 'Col2'], 
        dtype = {'Col1': 'int32', 'Col2':'int32'}, skiprows = skip) 

ので、私からいくつかのランダムな行を取りたい場合はファイルだけでなく、100行を考慮しますが、100 000、それはしかし、ファイルからランダムではない行を取って、硬くなり、ほぼ大丈夫です：

skiprows = xrange(100000)  
data = pd.read_csv(path, usecols = ['Col1', 'Col2'], 
        dtype = {'Col1': 'int32', 'Col2':'int32'}, skiprows = skip, nrows = 10000) 

Iからランダムに大量の行を読んで対処できる方法そこで質問大きなCSVファイルwi私はcsvファイル全体を読むことができないので、それをチャンクしても、ランダムな行にはっきりと興味があります。 おかげ

Answer 1

私はこれが他の方法より速いと思っています。

リストでスキップする行をすでに選択しているとします。skippedまず、ルックアップブールテーブルに変換します。

# Some preparation: 
skipped = np.asarray(skipped) 
# MAX >= number of rows in the file 
bool_skipped = np.zeros(shape(MAX,), dtype=bool) 
bool_skipped[skipped] = True 

主なものは次のとおり

from io import StringIO 
# in Python 2 use 
# from StringIO import StringIO 

def load_with_buffer(filename, bool_skipped, **kwargs): 
    s_buf = StringIO() 
    with open(filename) as file: 
     count = -1 
     for line in file: 
      count += 1 
      if bool_skipped[count]: 
       continue 
      s_buf.write(line) 
    s_buf.seek(0) 
    df = pd.read_csv(s_buf, **kwargs) 
    return df 

私はそれをテストした：

df = pd.DataFrame(np.random.rand(100000, 100)) 
df.to_csv('test.csv') 

df1 = load_with_buffer('test.csv', bool_skipped, index_col=0) 

をスキップした行の90％に。

pd.read_csv('test.csv', skiprows=skipped, index_col=0) 

と同等に実行され、daskを使用するか、チャンクで読み取るよりも約3〜4倍高速です。

Answer 2

メモリが最大の問題である場合は、可能な解決策はチャンクを使用することで、ランダムチャンクから

n = 100 
s = 10 
factor = 1 # should be integer 
chunksize = int(s/factor) 

reader = pd.read_csv(path, usecols = ['Col1', 'Col2'],dtype = {'Col1': 'int32', 'Col2':'int32'}, chunksize=chunksize) 

out = [] 
tot = 0 
for df in reader: 
    nsample = random.randint(factor,chunksize) 
    tot += nsample 
    if tot > s: 
     nsample = s - (tot - nsample) 
    out.append(df.sample(nsample)) 
    if tot >= s: 
     break 

data = pd.concat(out) 

を選択し、チャンクの大きさを制御するための係数を使用することができます可能性があります。