埋め込みレイヤのないKerasにLSTMを書き込む方法は？

Question

埋め込みレイヤのないLSTMアーキテクチャを使用して、ケラスで簡単なシーケンスコピータスクを作成するにはどうすればよいですか？私はすでに単語ベクトルを持っています。

Answer 1

あなたが単語ベクトルを持っていると言えば、単語をベクトル表現（word2vec、GloVe ...から計算）にマップする辞書があると思います。

この辞書を使用すると、シーケンス内のすべての単語が対応するベクトルに置き換えられます。 LSTMはすべての入力シーケンスを一定の長さにする必要があるため、すべてのシーケンスを同じ長さにする必要があります。したがって、max_lengthの値を決定し、より長いすべてのシーケンスをトリムし、ゼロより短いすべてのシーケンスを埋め込む必要があります（Keras pad_sequences関数を参照）。

次に、ベクトル化されたシーケンスをニューラルネットワークのLSTMレイヤに直接渡すことができます。 LSTMレイヤーはネットワークの最初のレイヤーなので、入力シェイプを定義する必要があります。入力シェイプは（max_length、embedding_dim）です。

この方法で埋め込みレイヤをスキップし、代わりに独自の事前計算ワードベクトルを使用します。