PyTorchとCNTK（CIFAR上のVGG）との一致

Question

PyTorchがどのように機能し、CIFARで簡単なCNNトレーニングを複製したいのかを理解しようとしています。 CNTKスクリプトは、MXNetスクリプト（0.75の精度で153秒後）に似ているトレーニング（10エポック）の168秒後に0.76の精度になります。

しかし、私のPyTorchスクリプトは、0.71の精度と354秒で多く遅れています。私は確率的な体重の初期化などのために精度に違いがあることに感謝します。しかし、フレームワークの違いは、フレームワーク内の違いよりはるかに大きく、ラン間でランダムに初期化されます。

私は考えることができるの理由：

• MXNetとCNTKはザビエル/ glorot均一に初期化されます。 PyTorchでこれを行う方法がわからないので、おそらくウェイトは0に初期化されます。
• CNTKはデフォルトでグラデーションクリッピングを行います。 PyTorchに同等の機能があるかどうかわからない
• デフォルトでPyTorchに偏りがある可能性があります
• 私は勢いでSGDを使用します。おそらく、運動量のPyTorchの実装は少し異なっている

編集：

私は体重の初期化を指定して試してみましたが、しかし、それは大した影響を及ぼさないように思われる：

self.conv1 = nn.Conv2d(3, 50, kernel_size=3, padding=1) 
init.xavier_uniform(self.conv1.weight, gain=np.sqrt(2.0)) 
init.constant(self.conv1.bias, 0) 

Answer 1

私は答えにしてみてくださいあなたの最初の2つの質問：

• 重み初期化：異なる種類のレイヤーにはそれぞれ独自の方法があります。y OUは、次のリンク内のすべてのこれらの層のデフォルトの重みの初期化を見つけることができます：https://github.com/pytorch/pytorch/tree/master/torch/nn/modules

• 勾配クリッピング：あなたがいないなぜあなたはまたtorch.nn.utils.clip_grad_norm

を使用する場合があります、私は好奇心データをロードして前処理するにはtorchvision.transformstorch.utils.data.DataLoaderとtorchvision.datasets.CIFAR10を使用しますか？

Pytorchのcifarの類似画像分類チュートリアル http://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py これはあなたを助けることを望みます。