複数のストリームを1つのGPUデバイス

Question

私は6つのGPUデバイスで動作するはずのマルチスレッドプログラムを持っています。 プログラムの全期間中に再利用するために、各デバイスで6つのストリームを開きたい（合計36件）。

私はcudaStreamCreate（）cublasCreate（）cublasSetStream（）を使用して各ストリームとハンドルを作成しています。 私はまた、GPUメモリーモニターを使用して、各ハンドルのメモリー使用量を確認します。 しかし、各デバイスのGPUメモリ使用量を見ると、最初のストリーム作成時にのみ増加し、残りのストリームでは変更されません。

私が知る限り、使用したいストリームの量に制限はありません。 しかし、私はハンドルとストリームのメモリ使用量がGPUのメモリ使用量に現れない理由を理解できません。

Answer 1

作成するすべてのストリームは、特定のデバイス上の単一のコンテキスト内に存在するため、最初のストリームの後に追加のストリームを作成すると、コンテキストに関連するオーバーヘッドはありません。ストリーム自体は軽量で、主にホスト側のスケジューラの抽象化です。あなたが見てきたように、彼らはそれ自身で（もしあれば）多くのデバイスメモリを消費しません。