100000行のデータが含まれている場合、C＃で超高速アスキーファイルを書き込む方法は？

Question

私はC＃のランダムなクラスからランダムな文字列と数値を生成するコードを持っています。それをテキストファイルに書き込みます。どのように私はパフォーマンスを向上させることができますか？ コードは次のとおりです。

int i = 0; 
    Record[] rec = new Record[100000]; 
    Class1 cl = new Class1(); 
    Random random = new Random(); 
    while (i < 100000) 
    { 
     rec[i].num1 = random.Next(); 
     rec[i].num2 = random.Next(); 
     rec[i].mult = rec[i].num1 * rec[i].num2; 
     rec[i].rel = true; 
     rec[i].name = cl.generateRandomString(1); 
     rec[i].var_set = cl.generateRandomString(2);   
     using (StreamWriter writer = new StreamWriter("important.txt", true)) 
     { 

      writer.Write(rec[i].name); 
      writer.Write(" "); 
      writer.Write(rec[i].var_set); 
      writer.Write(" "); 
      writer.Write(rec[i].num1); 
      writer.Write(" "); 
      writer.Write(rec[i].num2); 
      writer.Write(" "); 
      writer.Write(rec[i].mult); 
      writer.Write(" "); 
      writer.WriteLine(rec[i].rel); 
     } 
     i++; 

Answer 1

：

Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
int i = 0; 
while (i < 100000) 
{ rec[i].num1 = random.Next(); rec[i].var_set = cl.generateRandomString(2); i++; }; 

i = 0; 
using (StreamWriter writer = new StreamWriter("important.txt", true)) 
    { 

     while (i < 100000) 
     { 
     writer.Write(rec[i].name); 
     writer.Write(" "); 
     writer.Write(rec[i].var_set); 
     writer.Write(" "); 
     writer.Write(rec[i].num1); 
     writer.Write(" "); 
     writer.Write(rec[i].num2); 
     writer.Write(" "); 
     writer.Write(rec[i].mult); 
     writer.Write(" "); 
     writer.WriteLine(rec[i].rel); 

     i++; 
     }; 
    } 

EDIT - 別のオプション：あなたは@Benコメントで供給されたコードに基づいて

Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
int i = 0; 
while (i < 100000) 
{ rec[i].num1 = random.Next(); rec[i].var_set = cl.generateRandomString(2); i++; }; 

File.WriteAllLines ("important.txt", (from r in rec select r.name + " " + 
r.var_set + " " + r.num1 + " " + r.num2 + " " + r.mult + 
" " + r.rel).ToArray()); 

Answer 2

System.IO.MemoryMappedFiles.MemoryMappedFileは信じられないほど高速です。

しかし、おそらくパフォーマンスの問題は、出力をフォーマットし、実際にファイルを書き込んでいないことが原因です（ディスク書き込みキャッシュが有効な場合、ファイル書き込みは非常に高速です）。

あなたがこれを行うとき、何が起こる

Answer 3

を、私はこのコードのことを得ましたあなたは使用しています。

Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
while (i < 100000) 
{ 
    rec[i].num1 = random.Next(); 
    rec[i].var_set = cl.generateRandomString(2); 
    using (StreamWriter writer = new StreamWriter("important.txt", true)) 
    { 
     writer.Write(rec[i].name); 
     writer.Write(" "); 
    } 
    i++; 
} 

私が見ている最大の問題は、ループの繰り返しごとにストリームライターを開いていることです。ファイルを一度しか開くことができないように、コードをこのようなものに変更することをお勧めします。

int i = 0; 
Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
StreamWriter sr = new StreamWriter("important.txt", true); 

try 
{ 
    while (i < 100000) 
    { 
     rec[i].num1 = random.Next(); 
     rec[i].var_set = cl.generateRandomString(2); 
     sr.Write(rec[i].name); 
     sr.Write(" "); 
     i++; 
    } 
} 
finally 
{ 
    sr.Close(); 
} 

Answer 4

本当にあなたの質問を編集し、コメントからコードを含める必要があります。

だから、コメントから、あなたの現在のコードです：

Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
while (i < 100000) 
{ 
    rec[i].num1 = random.Next(); 
    rec[i].var_set = cl.generateRandomString(2); 
    using (StreamWriter writer = new StreamWriter("important.txt", true)) 
    { 
     writer.Write(rec[i].name); 
     writer.Write(" "); 
    } 
    i++; 
} 

それと間違っている何が外側のループの反復ごとに100000回、開いて書き込み、ファイルを閉じているという事実です。

はループの外のオープン/クローズのロジックを置く：

Record[] rec = new Record[100000]; 
Class1 cl = new Class1(); 
Random random = new Random(); 
using (StreamWriter writer = new StreamWriter("important.txt", true)) 
{ 
    while (i < 100000) 
    { 
     rec[i].num1 = random.Next(); 
     rec[i].var_set = cl.generateRandomString(2); 
     writer.Write(rec[i].name); 
     writer.Write(" "); 
     i++; 
    } 
} 

Answer 5

パフォーマンスは常にアプリケーション固有である、唯一のあなたは本当に「超高速」であるかを定義することができます。ところで、すでに@Benが提供しているソリューション+の1つは、チャンクごとに20,000行のような大きなデータを持ち、5ショットで書き込むことです.100,000行の大きなデータのチャンクアプリ、なぜですか？良い解決策でもありますが、それはあなたの状況に特有なものです。だから、Rico Marianiは「測定、測定、測定」と言っています。

よろしくお願いいたします。