GPUコンピューティング：ミニバッチ勾配降下にはどのくらいのVRAMが必要ですか？

Question

NVIDIAカードでGPUコンピューティングをしたいと思っており、GTX 960と2GBまたは4GBのRAMを使用することを決めています。どちらを取るべきですか？ミニバッチ勾配降下に使うことができるバッチサイズの点でどれくらいの違いがありますか？この違いは重要だろうか？

ありがとうございました。

Answer 1

最もコストのかかる操作の1つは、GPUデバイスとの間でデータをやりとりすることです。したがって、2GBを超えるデータセットで作業することが予想される場合は、大きなメモリが大きなメリットになります。一度に大量のデータ（最小サイズの複数の倍数）を格納したり、頻繁な評価が必要な場合は、保留データセット全体を格納したりすることができます。もちろん、gpu（デバイスがサポートしている場合）または他のoptimizationsとの間で非同期コピーをいつでも使用できますが、より小さいmemで確実にうまく動作します。ただし、これにより複雑さが増し、使用するツールキット（該当する場合）ではこの機能を利用できない場合があります。