numpyで扱うことができるデータの量

Question

私は現在PyTablesとNumPyで作業しようとしています。numpyが処理できるデータの量を教えてください。私は今、140万行のデータを扱っています。それは扱うことができます。それはatleastが2列の1億4000万行を処理することができればいいです（私は今、8 GBのRAMで64ビットのウィンドウを使用します）。実装。

Answer 1

140Mは2 ** 31よりもはるかに少ないので、十分なメモリが与えられている32ビットのPython/Numpyにも適合するはずです。あなたは簡単に標準dtype=np.float64とメモリの使用は140M×2 = 2ギガバイト×8バイトのオーダーである

>>> import numpy as np 
>>> X = np.empty((140e6, 2)) 

でこれを試してみることができます。 dtype=np.float32を使用する場合は、係数2を保存できます。