1
私はCIFAR10の例で128人のワーカーと1つのパラメータサーバを使用してDistributed Tensorflowを実行しています。Tensorflowの訓練データはどのように「バッチ」に配布されていますか？
FLAGS.batch_sizeが各ワーカーに送信される各バッチのサイズを決定するか、このFLAGS.batch_sizeがすべてのワーカーに送信される各バッチのサイズを決定するかどうかは疑問でしたか？
この違いは、あまりにも多くの作業者にバッチを分割すると通信が行きすぎて計算が不十分になる可能性があるため、パフォーマンスに影響します。