スレッディング/ TPLなど

Question

私は1600万のデータベースレコードを処理する必要があり、これは私を永遠に連れて行くでしょう。私は精通しているので、ここで尋ねると思った。私の考えは、私は次のことを実行する必要がありますが、方法がわからないだということです：

は上の処理のためにこれらのチャンクのそれぞれを送信する「チャンク」

の数にこれらを分割

1. は私の16メートルのレコードを取得し、そのスレッド上で

これは正しいと思いますが、ワークロード（16mレコード）を分割するとどうなりますか？

健全なアドバイスを提供できる場合はよろしく。

Answer 1

私はあなたが以下のようによく知られている生産者 - 消費者パターンを使用することをお勧め：

• 単一のスレッド（プロデューサー）DBからレコードを取り出し、単一または多分複数のレコードを持つタスクを（作成し、処理する）、それらを共有キューに入れます。
• スレッドのグループ（コンシューマ）は、タスクをキューから取り出し、並列に処理します。

これを実装する非常に簡単な方法は、ThreadPoolクラスを使用することです。キューとワーカーを便利に管理します。 QueueUserWorkItemでプロデューサタスクとキュータスクを実装するだけです。

また、TPLコンストラクトを使用する場合は、TaskとおそらくはConcurrentQueueの組み合わせを使用して、上記のメカニズムを実装することができます。

Answer 2

アイテムのコレクションを並行して処理する場合は、それはまさにParallel.Foreach()の対象です。各アイテム（おそらくラムダ）に対して実行したいアクションを渡すだけで、コレクションをチャンクに分割して実行することができます。

しかし、あなたはその行動に何を入れるかについて注意する必要があります。これはコードが同時に複数のスレッドで実行されるためです。スレッドセーフではない方法で共有状態にアクセスしないでください。