は、この質問は、CUDAを使用してに関連して、待ち時間/遅延

Question

を同期CUDAでは、多くのカーネル

を実行するために、ストリーム多くの同期があるかどうかを確認するために cudaStreamSynchronize、 CudaDeviceSynchronize、 cudaThreadSynchronize、 ともcudaStreamQueryコマンドストリームは空です。

プロファイラを使用すると、これらの同期コマンドによってプログラムに大きな遅延が生じることがわかりました。できるだけ少ない同期コマンドを使用してこのレイテンシーを減らす手段を誰かが知っているかどうかは疑問でした。

最も効果的な同期方法を判断する数値もあります。それはアプリケーションで使用されている3つのストリームを考慮し、2つは、私は2つのcudaStreamSyncsを使用する必要がありますか私はダウンストリームを開始するために完了する必要がありますか、わずか1つのcudaDeviceSyncは、

Answer 1

同期方法の主な違いは、「ポーリング」と「ブロック」です。

「ポーリング」は、ドライバがGPUを待つためのデフォルトのメカニズムで、32ビットのメモリ位置がGPUによって書き込まれる特定の値に達するのを待ちます。待機が解決された後、待ち時間をより早く返すかもしれませんが、待機中に、そのメモリ位置を見てCPUコアを焼き付けます。

cudaDeviceScheduleBlockingSyncでcudaSetDeviceFlags()を呼び出すか、cudaEventBlockingSyncでcudaEventCreate()を呼び出して、ブロックすることができます。ブロッキングウェイトは、ドライバがDMAコマンドバッファにコマンドを挿入し、バッファ内の先行するコマンドがすべて実行されたときに割り込みを通知します。ドライバは、割り込みをWindowsイベントまたはLinuxファイルハンドルにマップして、デフォルトのポーリング方法と同様にCPUを絶えず焼き付けることなく同期コマンドを待機させることができます。

クエリは、基本的に、ポーリング待機に使用される32ビットのメモリ位置の手動チェックです。ほとんどの状況で、彼らは非常に安いです。しかし、ECCを有効にすると、クエリーはカーネルモードに入り、ECCエラーがないかどうかをチェックします。 Windowsでは、保留中のコマンドはドライバにフラッシュされます（カーネルサンクが必要です）。