バイナリファイルにゼロ（大量）を書き込んでください

Question

これは愚かな質問かもしれませんが、私はそれに適切な答えを見つけることができません。私は、(2000, 2000, 2000)の0の配列のバイナリ表現をディスク（バイナリ形式）に格納したい（理由は問いません）。

with open('myfile', 'wb') as f: 
    f.write('\0' * 4 * 2000 * 2000 * 2000) # 4 bytes = float32 

しかし、これはまったく必要ではない非常に大きな文字列を作成することを意味します。文字列などの高価なメモリとして（numpyの配列を作成し、それをディスクにフラッシュする時要素と店舗1バイトを超える

• 反復（非常に遅い）

• ：私は2つの他のオプションを知っています上記の例で作成）

私はwが、Cの速度ではなく、Pythonのループ速度でディスクcharntimesにコピーするwrite(char, ntimes)のようなものを（それはCと他の言語に存在するような）を見つけるためにホッピングされましたメモリ上にこのような大きな配列を作成する必要はありません。

Answer 1

私は、あなたが「Pythonのループ速度」について、このような大騒ぎを作っている理由がわからないけど、

for i in range(2000 * 2000): 
    f.write('\0' * 4 * 2000) # 4 bytes = float32 

の方法で書くことは8000 0バイトを書くためにOSを教えてくれます。 writeが返された後、次のループ実行で再び呼び出されます。

ループはC言語よりも少し遅く実行されるかもしれませんが、確かに違いはありません。

スパースファイルを作成しても問題ない場合は、希望するファイルサイズの位置までシークしてファイルを切り捨てることもできます。

Answer 2

データ量は約30Gバイトです。 明らかに、ファイルに格納する前にRAMに格納することはできません。

たぶん最良の方法は、ディスク・クラスタのサイズのバッファを使用することです（4K、128K、512Kを？）

Answer 3

これはnumpy's memmap:

shape = (2000, 2000, 2000) # or just (2000 * 2000 * 2000,) 
fp = np.memmap(filename, dtype='float32', mode='w+', shape=shape) 
fp[...] = 0 

を使ってPythonからファイルを埋めるために有効な回答になります