2016-11-29 12 views
0

私はsqueeze net紙を読んでから、この質問に出くわしました。著者は、事前に訓練されたモデルを圧縮するためにDeep Compressionを使用すると述べています。アルゴリズムなどcaffeモデル動物園のような、事前に訓練されたモデルにどのようなデータが保存されていますか?

ハフマンコードが含まれて私は事前に訓練推測は、すべてのパラメータであり、ネットワークを訓練するとき、私は、これらのパラメータが生成されている知っていますが、私はパラメータがどのように生成されるかわかりません。予測を行うときに、事前に訓練されたモデルのパラメータはどのような役割を果たすのですか?

それは

答えて

0

黒魔術のように私に聞こえる事前に訓練されたモデルは、すべての層のすべてのカーネルへ/からの層接続のすべての重みで構成されています。それは、トレーニングの最初の40〜80エポックからの "重い持ち上げ"です。それは予測を行う準備ができているか、または適用する気になる微調整を続行する必要があります。

それは本当に黒魔術ではありません。各フレームワークには、指定された間隔で、およびトレーニングの終了時にパラメータ値をダンプ(バックアップ)する機能があります。確かに、これらは比較的大きなファイルなので、圧縮を使用します。各フレームワークには、モデルをブートストラップするために、そのようなダンプファイルを読み込む機能があります。

+0

あなたは私が検索することができますいくつかの論文やキーワードに名前を付けることはできますか?私は、関連トピックを見つけることができますキーワードのどのような種類がわからない。( –

+0

(1)オフサイトのリソースは、スタックオーバーフローの範囲を超えている(2)あなたがここに学ぶために何をしようとしているあなたがに慣れていないなら。? CNNの動作を確認し、前方 - 後方伝播を含むニューラルネットワークの紹介を探します。 – Prune

関連する問題