C＃膨大な量のメモリを使わずに大量のフォルダとファイルを再帰的にループする方法

Question

自分のすべての音楽ファイルをインデックスに登録し、データベースに格納します。 私は、私の音楽ドライブのルートから始めて、私が迂回的に呼び出すこの機能を持っています。

すなわち

start > ReadFiles(C:\music\); 

ReadFiles(path){ 
    foreach(file) 
     save to index; 

    foreach(directory) 
     ReadFiles(directory); 
} 

これは正常に動作しますが、プログラムの実行中に使用されるメモリの量が成長し、成長して...最後に私のシステムがメモリ不足。

誰かがこのタスクを完了するために4GBのRAMを必要としない優れた方法がありますか？

最高のお礼、Tys

Answer 1

Alxandrのキューベースのソリューションは正常に動作するはずです。

は、.NET 4.0を使用している場合は、メモリ内にすべてをロードすることなく、ゆったりとファイルを列挙し、新たなDirectory.EnumerateFiles方法、の利点を取ることができる：

void ReadFiles(string path) 
{ 
    IEnumerable<string> files = 
     Directory.EnumerateFiles(
      path, 
      "*", 
      SearchOption.AllDirectories); // search recursively 

    foreach(string file in files) 
     SaveToIndex(file); 
} 

Answer 2

これはキューとして実装できます。私はこれが記憶を節約すると思う（しかし私は確信していない）。少なくともスタックを解放します。フォルダが見つかるたびにキューに追加し、ファイルが見つかるたびに読み込みます。これは再帰を防ぎます。このような

何か：

Queue<string> dirs = new Queue<string>(); 
dirs.Enqueue("basedir"); 
while(dirs.Count > 0) { 
    foreach(directory) 
     dirs.Enqueue(directory); 
    ReadFiles(); 
} 

Answer 3

は、root以外のすべてのディレクトリに表示さ.と..エントリをチェックしましたか？

これらをスキップしないと、無限ループになります。

Answer 4

はそのEnumerateFiles（、しかし、注意してください）は、ファイルへのアクセス権がない場合、またはパスが長すぎる場合やその他の例外が発生した場合に実行を停止します。これは私がこれらの問題を解決するためにしばらくの間使用するものです。

public static List<string> getFiles(string path, List<string> files) 
{ 
    IEnumerable<string> fileInfo = null; 
    IEnumerable<string> folderInfo = null; 
    try 
    { 
     fileInfo = Directory.EnumerateFiles(str); 
    } 
    catch 
    { 

    } 
    if (fileInfo != null) 
    { 
     files.AddRange(fileInfo); 
     //recurse through the subfolders 
     fileInfo = Directory.EnumerateDirectories(str); 
     foreach (string s in folderInfo) 
     { 
      try 
      { 
       getFiles(s, files); 
      } 
      catch 
      { 

      } 
     } 
    } 
    return files; 
} 

使用例：http://msdn.microsoft.com/en-us/library/vstudio/bb513869.aspx：

List<string> files = new List<string>(); 
files = folder.getFiles(path, files); 

私のソリューションは、このページのコードに基づいています。

更新：ファイルを再帰的に取得するための、より高速な方法は、http://social.msdn.microsoft.com/Forums/vstudio/en-US/ae61e5a6-97f9-4eaa-9f1a-856541c6dcce/directorygetfiles-gives-me-access-denied?forum=csharpgeneralにあります。スタックを使用することは私には新しく（私もそれが存在するかどうかはわかりませんでしたが）、このメソッドはうまくいくようです。少なくとも私のCとDのパーティションにエラーなしですべてのファイルがリストされていました。