2016-10-18 13 views
1

Kim-New York大学の「文章分類のための畳み込みニューラルネットワーク」という論文を読むと、「CNN非静的」モデル - word2vecから事前に訓練されたベクトルと、ランダムに初期化された未知のものを含むすべての単語とのモデルと、事前に訓練されたベクトルは各タスクに対して微調整されています。 私は、事前に訓練されたベクトルが各タスクに対してどのように微調整されているか理解していません。私が知る限り、word2vec.bin(事前訓練された)によって文字列から変換された入力ベクトルは、イメージ行列のように、CNNのトレーニング中に変更することはできません。彼らができるなら、どうすればいいのですか?私を助けてください、事前にたくさんありがとう!CNNを訓練するときに入力word2vecを微調整する方法

答えて

0

単語の埋め込みは、ニューラルネットワークの重みであり、したがって、バックプロパゲーション中に更新することができます。

など。 http://sebastianruder.com/word-embeddings-1/

当然

、入力として語彙から単語を取得し、それは次に、バックプロパゲーションを介して微調整、必ずしも単語埋め込みをもたらす低次元空間へのベクトルとしてそれらを埋め込むすべてのフィードフォワードニューラルネットワーク第1の層の重みとして使用され、これは通常埋め込み層と呼ばれる。 !お返事のための

+0

おかげで、今私はそれを得るが、私はまだ質問を受ける、あなたは私を助けることを願っは、おかげでたくさんここに私の質問は以下のとおりです。 –

+0

1.when私はテキスト分類のための私自身のCNNを訓練します、私はword2vecを使用して単語を初期化します。次に、これらの事前にトレーニングされたベクトルを入力機能として使用してCNNをトレーニングします。埋め込みレイヤーを使用していないと、バックプロパゲーションによる微調整はできません。私の質問は、もし私が微調整をしたいのですが、それは埋め込み層を作ることを意味するのですか?それをどうやって作りますか? –

+0

2. word2vecを訓練するときは、監督されていない訓練を使用しますか?私の場合のように、私はスキップグラムモデルを使用して、事前に訓練されたword2vecを取得します。しかし、私がvec.binを持っていて、テキスト分類モデル(CNN)を単語の初期設定子として使用すると、vec.binの単語間ベクトルマップを微調整することができれば、私のword2vecを訓練するときと全く同じCNNネット構造? –

関連する問題