TensorFlowデバイスのコンテキスト、ストリーム、およびコンテキストの切り替え

Question

GPUDeviceコードでは、ストリームごとに1つずつGPUDeviceContextが作成されています。

すべてのコンテキストが1つのOpKernelContextを制御できるようにし、さまざまなストリームを実行する必要があるときにコンテキストを切り替えるだけで、異なるデータ/コードをGPUにプッシュして実行します。

さまざまなストリームが異なるデバイス（つまり、 '/ gpu：0'と '/ gpu：1'）として登録されますか？

thisの場合、ThreadPoolDeviceにはコンテキストはありませんが、ThreadPoolDeviceにコンテキストを追加すると、ThreadContextの一種として最も適していますか？

Answer 1

GPUでは、計算ストリーム（ほとんどの計算カーネルが実行される）といくつかのmemcopyストリーム（ホストとデバイスの間でmemcopiesを実行するために、逆も同様）を実行するストリームをいくつか維持します。これは、GPUデバイス上で通信と計算を重複させるために行われますが、GPUを使用する方法に特有です。 1つのGPUストリームをすべての計算と通信用に簡単に作成することもできますが、遅くても正しいはずです。

計算ストリームは計算を行い、memcopyストリームはコピーを行うカーネルに渡します。ストリームごとにGPUDeviceContextオブジェクトを作成し、正しいデバイスコンテキストオブジェクトをOpKernelContextに渡します。

ここでの特定の実装は、非同期ハードウェアデバイス（GPU）のプロパティを反映しているため、ThreadPoolDeviceにはこのような種類のメカニズムがありません。 CPU上ではすべての計算が同期的なので、ストリームなどの抽象化の必要はありません。

カスタムハードウェアの実行モデルは、TensorFlowでカスタムデバイスサポートが必要とする状態と管理の種類を決定する可能性があります。