テンソルfow.slim.learningでマルチgpuを使用した分散トレーニング

Question

私はテンソルフローが新しく、TFが配布をサポートしていると聞いています。

train_image_classifier.pyにnum_clonesがありますので、私はローカルでmutli-gpuを使用できます。

python $TF_MODEL_HOME/slim/train_image_classifier.py \ 
--num_clones=2 
--train_dir=${TRAIN_DIR} \ 
--dataset_name=imagenet \ 
--dataset_split_name=train \ 
--dataset_dir=${DATASET_DIR} \ 
--model_name=vgg_19 \ 
--batch_size=32 \ 
--max_number_of_steps=100 

次に、別のホストでmulit-gpuを使いたいです。

どうすればいいですか？

Answer 1

--worker_replicas=<no of hosts>を使用して、同じ数のGPUで複数のホストをトレーニングする必要があります。それ以外に、複数のホストでトレーニングをしている場合は、--task、--num_ps_tasks、--sync_replicas、--replicas_to_aggregateを設定する必要があります。

私はあなたにHorovodを試してみることをお勧めします。私は数日で試してみるつもりです。