リカレントニューラルネットワーク埋め込み

Question

私はテキストデータに関する研究プロジェクトに取り組んでいます。私はすでにさまざまな方法を実装しており、テキストには別のモデルを使用しています（i語がテキストに表示されている場合は1、そうでない場合は0、モデルword2vecを埋め込む単語）。

リコレントニューラルネットワークを使用してクエリの別の表現を見つけることができたかもしれないと私のアドバイザーが教えてくれました。この表現は、再帰関係のおかげで、テキスト内の単語の連続性を考慮してください。私はRNNに関するいくつかのドキュメントを読んだが、私はこの目標に役立つものは何も見つけ出していない。私は言語モデル（単語の確率を予測する）についてたくさんのことを読んだことがありますが、埋め込まれたベクトルのようなものを得るためにこのモデルをどのように適合させることができるのか分かりません。

ありがとうございました！

Answer 1

通常、RNNを利用しているクエリまたは文から埋め込みを取得する場合は、ログが使用されます。ロジットは、単に完全な文/クエリの順方向パスの後のネットワークの出力値である。

ロジット値は、出力層の次元（つまりターゲットクラスの数）を持つベクトルを生成します。通常、言語モデルから抽出されるため、語彙が使用されます。ヒントについては

は、これらを見てみましょう：原則として1が小さい埋め込みを取得し、また、使用する他のタスクに訓練された双方向のネットワークやネットワークを使用することができることをHow does word2vec give one hot word vector from the embedding vector?

注

• http://arxiv.org/abs/1603.07012
• この最後のオプションが一種のものであり、それが私の知る限りでは探求されていなくても。