NVIDIA-smiが未使用時にGPUの使用率を表示します

Question

export CUDA_VISIBLE_DEVICES=1を使用してGPU ID 1でテンソルフローを実行していますが、nvidia-smiのすべてがうまく見え、pythonプロセスがGPU 1で実行されます。つかいます。

しかし、奇妙なGPU 0（プロセスリスト、メモリ、消費電力、常識に基づいています）は96％の揮発性GPU使用率を示しています。

誰でも知っていますか？

+-----------------------------------------------------------------------------+ 
| NVIDIA-SMI 367.48     Driver Version: 367.48     | 
|-------------------------------+----------------------+----------------------+ 
| GPU Name  Persistence-M| Bus-Id  Disp.A | Volatile Uncorr. ECC | 
| Fan Temp Perf Pwr:Usage/Cap|   Memory-Usage | GPU-Util Compute M. | 
|===============================+======================+======================| 
| 0 Tesla K20c   Off | 0000:03:00.0  Off |     0 | 
| 30% 41C P0 53W/225W |  0MiB/4742MiB |  96%  Default | 
+-------------------------------+----------------------+----------------------+ 
| 1 Tesla K20c   Off | 0000:43:00.0  Off |     0 | 
| 36% 49C P0 95W/225W | 4516MiB/4742MiB |  63%  Default | 
+-------------------------------+----------------------+----------------------+ 

+-----------------------------------------------------------------------------+ 
| Processes:              GPU Memory | 
| GPU  PID Type Process name        Usage  | 
|=============================================================================| 
| 1  5193 C python          4514MiB | 
+-----------------------------------------------------------------------------+ 

Answer 1

を実行して、どのプログラムがGPUを使用しているかを確認してください。

GPUにはECCが有効なので、CPUまたはメモリの使用率が高くなります。

ドライバの初期化時にECCが有効になっているときに、高いGPUとメモリ使用率の読み取り値が表示されます。これは、ドライバの初期化中に実行されるECCメモリスクラブメカニズムによって発生します。
永続化モードが無効の場合、ドライバが実行されていない（CUDAアプリまたはnvidia-smiまたはXServer）ときにドライバが初期化されず、GPUアプリケーション（nvidia-smiなど）がその状態を照会してECCスクラブを引き起こす前に、
経験則として、常にPersistence Mode Enabledで実行します。ルートnvidia-smi -pm 1として実行してください。これにより、ドライバを常にロードしたままにすることで、アプリケーションのランチをスピードアップします。

参考：https://devtalk.nvidia.com/default/topic/539632/k20-with-high-utilization-but-no-compute-processes-/