レイヤーまたは畳み込みレイヤをプールした後のアクティベーション機能？

Question

これらのリンクからの理論は、畳み込みネットワークの次数が、Convolutional Layer - Non-liniear Activation - Pooling Layerであることを示しています。

1. Neural networks and deep learning (equation (125)
2. Deep learning book (page 304, 1st paragraph)
3. Lenet (the equation)
4. The source in this headline

しかし、それらのサイトから最後の実装では、それは順序があることを言った：Convolutional Layer - Pooling Layer - Non-liniear Activation

1. network3.py
2. The sourcecode, LeNetConvPoolLayer class

私はConv2D操作の構文を探求するために、あまりにも試してみたが、何の活性化機能はありません、それが反転し、カーネルを持つ唯一のコンボリューションです。誰かが私になぜこれが起こるのかを説明するのを助けることができますか

Answer 1

まあ、最大プールと単調に増加する非線形性は通っているので、結果は同じです。だから、最初にmax-poolingでサブサンプルしてから非線形性を適用する方が良いです（Sigmoidのようにコストがかかる場合）。

conv2Dについては、ではありません。カーネルを反転します。畳み込みの定義を正確に実装しています。これは線形演算ですので、次のステップで非線形性を追加する必要があります。 theano.tensor.nnet.relu。

Answer 2

多くの論文で人々がconv -> pooling -> non-linearityを使用しています。それは、あなたが別の注文を使用して合理的な結果を得ることができないという意味ではありません。 MAX-プーリング層とReLUの場合、順序は重要では（両方とも同じことを計算）しません：

あなたは、これがReLUは、要素ごとの操作であるとことを覚えておいて、そうであることを証明することができます非減少関数ので

同じことは、ほぼすべての活性化関数（それらのほとんどは非減少している）のために起こります。しかし、一般的なプール層（average-pooling）では機能しません。両方の注文が同じ結果を生成

---

はいえ、Activation(MaxPool(x))は、業務量が少ないことにより、大幅に高速それをしません。サイズがkのプール層では、k^2回のアクティブ化機能の呼び出し回数を使用します。

悲しいことに、大部分の時間が畳み込みレイヤーで使用されるため、この最適化はCNNではごくわずかです。