Kim-New York大学の「文章分類のための畳み込みニューラルネットワーク」という論文を読むと、「CNN非静的」モデル - word2vecから事前に訓練されたベクトルと、ランダムに初期化された未知のものを含むすべての単語とのモデルと、事前に訓練されたベクトルは各タスクに対して微調整されています。 私は、事前に訓練されたベクトルが各タスクに対してどのように微調整されているか理解していません。私が知る限り、word2vec.bin(事前訓練された)によって文字列から変換された入力ベクトルは、イメージ行列のように、CNNのトレーニング中に変更することはできません。彼らができるなら、どうすればいいのですか?私を助けてください、事前にたくさんありがとう!CNNを訓練するときに入力word2vecを微調整する方法
1
A
答えて
0
単語の埋め込みは、ニューラルネットワークの重みであり、したがって、バックプロパゲーション中に更新することができます。
など。 http://sebastianruder.com/word-embeddings-1/:
当然、入力として語彙から単語を取得し、それは次に、バックプロパゲーションを介して微調整、必ずしも単語埋め込みをもたらす低次元空間へのベクトルとしてそれらを埋め込むすべてのフィードフォワードニューラルネットワーク第1の層の重みとして使用され、これは通常埋め込み層と呼ばれる。 !お返事のための
関連する問題
- 1. シングルチャンネル入力でVGGモデルを微調整する方法は?
- 2. TensorflowでCNNで画像を訓練する方法
- 3. CNNへの入力の再調整
- 4. Tensorflowでオブジェクト識別に訓練されたCNNモデルを使用する方法
- 5. 異なる入力で訓練されたモデルを使用する方法
- 6. バークモードでspark word2vecモデルを訓練することは可能ですか?
- 7. WCF RESTにデフォルトJSONシリアライザを微調整する方法
- 8. CNNを訓練するときにイメージの平均を計算するのはなぜですか?
- 9. 訓練を受けたPyBrainネットワークに入力を与える方法と結果を得る方法
- 10. doc2vec用に事前に訓練されたword2vecモデルをロードする
- 11. 私のアンドロイドアプリで音質を微調整する方法
- 12. JPA/JAX-RSアプリケーションを微調整する方法
- 13. TensorFlowのインセプションモデルを微調整する
- 14. Tensorflowでディープニューラルネットワークを微調整する
- 15. Magentoでレイヤーナビゲーションを微調整する
- 16. InceptionV3を微調整する際のケラスエラー
- 17. 他の言語(word2vec)用に事前に訓練されたベクトルを作成する方法は?
- 18. asp.netアプリケーションを微調整してボトルネックを見つける方法
- 19. ColorTransformオブジェクトを微調整
- 20. GとBチャネルのみでCaffeを訓練する方法
- 21. nltkクラシファイアを徐々に訓練する方法
- 22. doc2vec - doc2vec訓練とinfer_vectorのための入力形式()のpython
- 23. 微調整画像URL apache
- 24. 微調整マルコフ連鎖
- 25. Tensorflow:微調整開始モデル
- 26. 微調整Visual Studioのオープンファイルタブ
- 27. jQuery DataTablesの微調整
- 28. DBArtisanのパフォーマンスの微調整
- 29. 手の動きの訓練セットに基づいて動きを生成するためにニューラルネットワークを訓練する方法は?
- 30. MySQLのパフォーマンスと変数の微調整
おかげで、今私はそれを得るが、私はまだ質問を受ける、あなたは私を助けることを願っは、おかげでたくさんここに私の質問は以下のとおりです。 –
1.when私はテキスト分類のための私自身のCNNを訓練します、私はword2vecを使用して単語を初期化します。次に、これらの事前にトレーニングされたベクトルを入力機能として使用してCNNをトレーニングします。埋め込みレイヤーを使用していないと、バックプロパゲーションによる微調整はできません。私の質問は、もし私が微調整をしたいのですが、それは埋め込み層を作ることを意味するのですか?それをどうやって作りますか? –
2. word2vecを訓練するときは、監督されていない訓練を使用しますか?私の場合のように、私はスキップグラムモデルを使用して、事前に訓練されたword2vecを取得します。しかし、私がvec.binを持っていて、テキスト分類モデル(CNN)を単語の初期設定子として使用すると、vec.binの単語間ベクトルマップを微調整することができれば、私のword2vecを訓練するときと全く同じCNNネット構造? –