CNNに完全に接続されたレイヤの出力は何ですか？

Question

たとえば、Caffeでは、Inner Product（Fully Connected）レイヤーでnum_outputを定義する必要があります。この出力番号の意味は何ですか？

Answer 1

完全結合層を1xNとNxMという単純な行列 - 行列乗算として考えて、次元1xMの結果を生成します。

完全に接続されたレイヤの入力として56x56x3のような次元のデータを渡すとします。体重の大きさを不明にしますNxM。たとえば、num_ouput = 4096と設定します。

これらのデータを計算するために、完全に接続されたレイヤーは、56x56x3の入力データを1xN,1x(56x56x3) = 1x9408と再構成します。我々は(1x9408)matrix - (9408x4096) matrix乗算をやってしまう効果で

したがって、

N = 9408

M = num_output = 4096

。

num_outputの値が100と変更された場合、最終的には(1x9408)matrix - (9408x100) matrixの乗算が行われます。

したがって、num_ouputの値を大きくすると、モデルが学習しなければならない重みパラメータの数が増加します。