DBからの読み取りとファイルへの書き込み

Question

シナリオ - データベースに膨大なデータがあります。ユーティリティはdatareaderを使用してレコードを1つずつ読み込み、txt/xmlファイルに追加します。もともと1つのレコードを読み取ってファイルに書き出すためのユーティリティー。それから、私はそれを変更して約10kのレコードを読み込んでメモリ（stringbuilder）に入れてからファイルに書き出しました。時間の短縮はすばらしかったです。

ファイルI/Oがボトルネックだと思います。私はさらにそれを改善したい。何らかの種類のバッファを使用し、DBから読み込んでバッファに入れるために1つのスレッドを使用し、バッファからフェッチしてFileに書き込む別のスレッドを使用することを考えます。

可能ですか？どこから始めれば？ もっと良い選択肢はありますか？

Answer 1

開始点は2つのバッファを使用し、バッファ内容をファイルに非同期で書き込みます。何かのように：

buffera 
bufferb 
currentbuffer=buffera 

fill currentbuffer with data 
kickoff job to write currentbuffer to file 
wait for previous write job to finish, if relevant.  
currentbuffer=otherbuffer 

完了するまで繰り返します。

Answer 2

パフォーマンスが本当に必要な場合は、今日のようにデータを読み込み、開始値と終了値をデータベースに渡して、複数のスレッドを使用してファイルを別々のファイルに同時に書き込むことができます。完了したら、ファイルを連結/マージ/追加します。単一のファイルへの書き込みは、データの書き込みが逐次的でなければならないため、大幅に改善することができます。

何かのような、ない、それは本当に大きなマージンによってパフォーマンスが改善されるかどうかを確認しますが、試してみる価値

using (var output = File.Create("output")) 
{ 
    foreach (var file in new[] { "file1", "file2" }) 
    { 
     using (var input = File.OpenRead(file)) 
     { 
      input.CopyTo(output); 
     } 
    } 
} 

。