私はディープラーニングを初めて使い、NLPのディープラーニングを探求したいと考えています。私は単語埋め込みを行って、gensim word2vecでそれらをテストしました。私はまた、事前に訓練されたモデルについて聞いた。私は、事前に訓練されたモデルと自分でモデルを訓練することの違いと、その結果の使い方を混乱させています。事前訓練された単語の埋め込みとケラスの訓練単語の埋め込みの違い
私はケアでそれを適用したいと思います。なぜなら、私はフォーミュラを書いておらず、すべてTheanoまたはTensorflowに書いています。
gensimでword2vecをトレーニングすると、あなたの達成した結果は、あなたの語彙の単語をベクトルとして表現することです。これらのベクトルの次元は、ニューラルネットワークのサイズです。
あらかじめ訓練されたword2vecモデルには、大きなコーパスに事前に訓練されたベクトルのリストが含まれています。あなたは様々なサイズの事前に訓練されたベクトルを見つけるでしょう。
これらのベクター表現の使用方法は？それはあなたがしたいことにかかっています。これらのベクトルには、いくつかの興味深い特性が示されています。「男性」+「キング」 - 「女性」のベクトルは、しばしばベクトル「女性」に最も近い一致をもたらすことが示されています。単語ベクトルを別のニューラルネットワーク/計算モデルの入力として使用することも考えられます。
GensimはCBOWアルゴリズムとスキップグラムアルゴリズムを実行するために非常に最適化されたライブラリですが、実際にニューラルネットワークを自分で設定したい場合は、最初にCBOWとskip-gramの構造について学び、例えばケラスでそれをコード化する。これは特に複雑ではないはずです。これらの主題のためのGoogleの検索では、多くの結果が得られます。