テンソルフローで複数のGPUにまたがってネットワークを分割することはできますか？

Question

非常に大きな反復ネットワーク（2048x5など）を実行する予定です。テンソルフローで1つのGPUで1つのレイヤーを定義することは可能ですか？最高の効率を達成するためにモデルをどのように実装するべきですか？私は、GPU間またはGPU-CPU間のGPU通信のオーバーヘッドがあることを理解しています。

Answer 1

TensorFlowでは、大規模なモデルを複数のGPUに分割することは可能ですが、最適な方法で行うことは難しい研究課題です。合格し、自分のオプティマイザを構築するとき

with tf.device("/gpu:0"): 
    # Define first layer. 

with tf.device("/gpu:1"): 
    # Define second layer. 

# Define other layers, etc. 

：with tf.device(...):ブロック内のコードの

1. ラップ大規模な連続した領域、異なるGPUの名前を付ける：一般的には、次の操作を実行する必要があります。 optimizer.minimize()メソッドにオプションの引数colocate_gradients_with_ops=True：

   loss = ... 
   optimizer = tf.train.AdaGradOptimizer(0.01) 
   train_op = optimizer.minimize(loss, colocate_gradients_with_ops=True) 
   

2. あなたがトンが必要な場合があります（オプション）。

   config = tf.ConfigProto(allow_soft_placement=True) 
   sess = tf.Session(config=config)