2017-03-29 11 views
-1

イムデバイスに残さスペースがありません、何のサブディレクトリは、しかし、280万個のファイルの後に、このエラーは現れません:PythonのOSErrorのフォルダにファイルをたくさん書い

with open(bottleneck_path, 'w') as save_file: 
OSError: [Errno 28] No space left on device: '/home/user/path/redacted' 

は、私は、ファイル名の長さをチェックしたましたわずか149文字です。ファイルサイズはおよそ18Kです。

私のオペレーティングシステムは、Linuxです。

DF -i:

Filesystem        Inodes IUsed IFree IUse% Mounted on 
udev         4106923  544 4106379 1% /dev 
tmpfs         4113022  836 4112186 1% /run 
/dev/sda2        28401664 9008557 19393107 32%/
tmpfs         4113022  40 4112982 1% /dev/shm 
tmpfs         4113022  5 4113017 1% /run/lock 
tmpfs         4113022  16 4113006 1% /sys/fs/cgroup 
/dev/sda1          0  0  0  - /boot/efi 

のdf -T

Filesystem        Type  1K-blocks  Used Available Use% Mounted on 
udev         devtmpfs 16427692   0 16427692 0% /dev 
tmpfs         tmpfs  3290420  22136 3268284 1% /run 
/dev/sda2        ext4  447088512 355325584 69029056 84%/
tmpfs         tmpfs  16452088  82448 16369640 1% /dev/shm 
tmpfs         tmpfs   5120   4  5116 1% /run/lock 
tmpfs         tmpfs  16452088   0 16452088 0% /sys/fs/cgroup 
/dev/sda1        vfat   523248  3684  519564 1% /boot/efi 

デュ-SH。

56G 

ls | wc -l

2892084 

私の理解から、これをうまく処理できるはずです。

EDIT:

のtune2fs -lは/ dev/sda2は

tune2fs 1.42.13 (17-May-2015) 
Filesystem volume name: <none> 
Last mounted on:  /
Filesystem UUID:   cd620466-1f88-400b-acf5-457a9c9544cf 
Filesystem magic number: 0xEF53 
Filesystem revision #: 1 (dynamic) 
Filesystem features:  has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize 
Filesystem flags:   signed_directory_hash 
Default mount options: user_xattr acl 
Filesystem state:   clean 
Errors behavior:   Continue 
Filesystem OS type:  Linux 
Inode count:    28401664 
Block count:    113587456 
Reserved block count:  5679372 
Free blocks:    82864623 
Free inodes:    25755495 
First block:    0 
Block size:    4096 
Fragment size:   4096 
Reserved GDT blocks:  996 
Blocks per group:   32768 
Fragments per group:  32768 
Inodes per group:   8192 
Inode blocks per group: 512 
Flex block group size: 16 
Filesystem created:  Wed Mar 1 15:14:22 2017 
Last mount time:   Mon Mar 27 13:20:00 2017 
Last write time:   Mon Mar 27 13:20:00 2017 
Mount count:    35 
Maximum mount count:  -1 
Last checked:    Wed Mar 1 15:14:22 2017 
Check interval:   0 (<none>) 
Lifetime writes:   1813 GB 
Reserved blocks uid:  0 (user root) 
Reserved blocks gid:  0 (group root) 
First inode:    11 
Inode size:   256 
Required extra isize:  28 
Desired extra isize:  28 
Journal inode:   8 
First orphan inode:  1312056 
Default directory hash: half_md4 
Directory Hash Seed:  e186507d-32b5-49c0-8ce1-09bf2a75d816 
Journal backup:   inode blocks 

touch /home/user/path/redacted/somefile_1 

を使用すると、エラーがスローされますが、別の名前で同じファイル名の構造が正常に動作します。例:

+0

上記のディレクトリの子として280万のファイルをすべて書き込んでいるのですか、それとも入れ子になっていますか? ext4には、[この質問](http://serverfault.com/questions/506465/is-there-a-hard-limit-to-the-number-of-html)によると、ディレクトリごとに64kのサブディレクトリの制限があるようです。 files-a-directory-can-have) –

+0

@HoriaComanそこにはネストはありません、それを見てください。 – pvg

+1

ext4がこれをうまく処理できるはずです。サブディレクトリはありません。 – Wesley

答えて

0

これはハッシュの衝突によるものです。 dir_indexを無効にすると、問題が解決されました。

+0

dir_indexがないと、パフォーマンスに問題はありませんか?ファイルルックアップは許容範囲内で高速ですか? –

1

ext4の最大inodeにはデフォルトの制限はありません。これは、デバイスのサイズと作成時に選択されるオプションによって異なります。

tune2fs -l /path/to/device 
+0

Iveはそのコマンドの結果を投稿に追加しました。 – Wesley

関連する問題