word2vec

0熱

1答えて

類似性（コサインかもしれない）を使っていくつかの文章をクラスタリングしようとしていて、あらかじめ定義されたクラスにテキストを入れるために分類器を使用しています。私の考えは、テンソルフローを使用して埋め込み単語を生成し、それを各センテンスごとに平均することです。次に、クラスタリング/分類アルゴリズムを使用します。 tensorflowはword2vec生成アルゴリズムを使用する準備ができていますか

1熱

1答えて

tensorflow basic word2vec例：行列の埋め込みではなく、表現に対して重み[nce_weight Transpose]を使用するべきではありませんか？

私は以下のコードでthis sample code にreferreingています：今すぐNCE_Loss機能がoptput層でのソフトマックスを持つ単一の隠れ層のニューラルネットワーク以外の何ものでもない embeddings = tf.Variable(tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0)) embed

-2熱

1答えて

組み合わせる単語ベクトルとスカラーは、分類

のために機能以下の情報人の入力年齢（1-100）人の性別（男性または女性）文章をモデル化するために、文出力ラベル（コンテンツの種類）の内容私はtfidfと組み合わせたword2vecを使用しています。また、分類器に埋め込まれた文章とともに、年齢と性別を特徴として追加したいと思います。これを行う正しい方法は何ですか？埋め込みはn次元の配列と年齢なので、性別はスカラーです。私はそれらを

1熱

2答えて

SparkでWord2Vecモデルをロード

（スカラを使用して）スパークさせるために事前計算（バイナリ）モデルを読み込むことは可能ですか？私はこのようなGoogleによって生成されたバイナリモデルの1つをロードしようとしました： import org.apache.spark.mllib.feature.{Word2Vec, Word2VecModel} val model = Word2VecModel.load(sc, "

1熱

1答えて

単語を含むベクトルをテキストファイルにマップする方法

単語ごとに100文と10次元ベクトルを含むテキストファイルを別のテキストファイルに格納します。私は、新しいテキストファイルを作成して、各マトリックスの文中の単語ごとにベクトルが印刷されるようにしたいと考えています。私を助けてください。

0熱

1答えて

いくつかの単語を除外してGensim Word2vecモデルをスピードアップするには？

次のword2vecモデルの読み込みで使用したい単語をリストにフィルタリングするとします。これらのフィルタリングされた単語リストだけを含む私自身のKeyedVectorsをどのように構築できますか？私が作ってみました：指定された単語の w2v_model_keyed = w2v_model.wv w2v_model_keyed.drop(word) が、私は次のエラーを取得： Attrib

-1熱

1答えて

unpickle化エラーWord2Vec.loadを使用しながら、（）

私はgensim.Word2Vec.load(fname)を使用してバイナリファイルをロードしようとしていますが、私はエラーを取得： File "file.py", line 24, in model = gensim.models.Word2Vec.load('ammendment_vectors.model.bin') File "/home/hp/anaconda3/lib/python3.

0熱

1答えて

Gensim save_word2vec_format（）とmodel.save（）との比較

gensimのバージョン0.12.4を使用しており、同じテキストと同じパラメータを使用して2つの別々の単語埋め込みを訓練しました。訓練の後、単語出現頻度とベクトル長の間のピアソン相関を計算しています。あるモデル私はsave_word2vec_format(fname, binary=True)を使用して訓練し、load_word2vec_formatを使用してロードし、model.save(fna

0熱

1答えて

ファストテキストでスピードアップする本当の理由

ファストテキストペーパーで言及されているパイプラインではテクニックを使用していますが、スピードアップの本当の理由は何ですか - 否定的なサンプリングとheirerchichal softmax以前のword2vec論文では私は明らかに、このスピードアップが起こる作っている実際の違いを、理解することはできませんよ？

1熱

1答えて

HTTPサービスとしてのgensim Word2vecのコード 'KeyedVectors'属性エラー

https://rare-technologies.com/word2vec-tutorial/#bonus_appで実行中のword2vec HTTPサーバーのw2v_server_googlenewsコードを使用しています。私は読み込まれたファイルを元のCバージョンのword2vecで訓練されたベクトルのファイルに変更しました。 gensim.models.KeyedVectors.load_