Amazon Web Services Cluster GPUインスタンスに似たプライベートクラウドGPU仮想化

Question

AWSがCluster GPU InstancesにGPUを割り当てる方法と同様に、動的クラウドベースのNVIDIA GPU仮想化を有効にするオプションを探しています。

私のプロジェクトでは内部クラウドを立てています。 1つの要件は、サーバ側のCUDA処理のために仮想マシン/インスタンスにGPUを割り当てる機能です。

USCはこれをサポートするためにOpenStack enhancementsに取り組んでいるようですが、まだ準備はできていません。 OpenStackで完全に機能していれば、これは私が探しているものです。

NVIDIA VGXは、厳密にリモートデスクトップのGPU仮想化であるUSMsへのGPUの割り当てのみをサポートしているようです。私が間違っていて、VGXが仮想マシン/インスタンスからサーバ側のCUDAコンピューティングを有効にしている場合は、私に知らせてください。

Answer 1

「AWSがクラスタGPUインスタンスにGPUを割り当てる方法と同様の、動的クラウドベースのNVIDIA GPU仮想化」

AWSは実際にGPUを動的に割り当てません。各GPUクラスタComputeには2つの固定GPUがあります。他のすべてのサーバー（通常のCluster Computeを含む）にはGPUがありません。私。彼らはあなたが "GPUかどうか"と言うことができるAPIを持っていません、それは固定されたハードウェアを使用するボックスタイプに固定されています。

Xenのパススルーモードは、ホストからゲストへのハードウェアの受け渡しを具体的に行いました。デフォルトでは「動的」ではありませんが、ゲストの1人を選択してホスト上の各カードを取得するコードを書くことができます。

Answer 2

CUDA内のデバイスを仮想化するGPUBoxというソリューションがあります。 Amazonや独自のインフラストラクチャで使用できます。ウェブサイト（http://renegatt.com/solutions.php）から

引用：

GPUBoxソフトウェアは、基礎となるGPUデバイスから アプリケーションとオペレーティングシステムを分離することにより、GPUの管理を簡素化します。 は、同じプールのGPUデバイスを多くのユーザーが動的に共有できるようにするソリューションです。 （...）GPUBoxは、Linuxオペレーティングシステムまたは Windowsオペレーティングシステムを搭載した物理マシンまたは仮想マシンへのGPUデバイスのオンデマンドプロビジョニング を有効にします。 GPUデバイスのプールは、 ユーザーの間で共有されているため、合計消費電力が削減され、アイドル実行中のハードウェアは になります。