Rのtext2vecを使用して、重み付けされていないbag-of-wordsベースのTCMを計算しますか？

Question

私はtext2vecパッケージをRに入れてコーパスから用語の共起行列（またはTCM）を計算しようとしています（これは良い並列バックエンドを持っているためです）。私はthis tutorialを追跡しましたが、いくつかのおもちゃの例を調べているうちに、create_tcm関数は、用語の共起値に何らかのスケーリングや重み付けをしていることに気付きました。私はそれが内部的にスキップグラムを使用することを知っていますが、ドキュメンテーションはそれらがどのようにスケールするかについては言及していません - 明らかに遠い用語/ユニグラムは重み付けが低くなります。ここで

は一例です：

tcmtest = function(sentences){ 
    tokens <- space_tokenizer(sentences) 
    it = itoken(tokens, progressbar = FALSE) 
    vocab <- create_vocabulary(it, ngram = c(ngram_min = 1L, ngram_max = 1L)) 
    vectorizer <- vocab_vectorizer(vocab, grow_dtm = FALSE, skip_grams_window = 5L) 
    return(create_tcm(it, vectorizer)) 
} 

> tcmtest(c("a b", "a b c")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c a 
b . 1 2.0 
c . . 0.5 
a . . . 
> tcmtest(c("a b", "c a b")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c a 
b . 0.5 2 
c . . 1 
a . . . 
> tcmtest(c("a b", "c a a a b")) 
3 x 3 sparse Matrix of class "dgTMatrix" 
    b c  a 
b . 0.25 2.833333 
c . . 1.833333 
a . . . 

質問：スキップグラムウィンドウ内のすべての用語/ユニグラムが平等に扱われるように、この動作を無効にする方法は、ありますか？つまり、ある用語が別の用語のコンテキストウィンドウ内でコーパス内で2回発生する場合、TCM行列では「2」と表示されます。

ボーナスに関する質問：デフォルトスケーリングの仕組みはどういう仕組みですか？最後の例に "a"を追加すると、b-c値は直線的に減少するように見えますが、実際にはb-a値は増加します。

Answer 1

UPDATE 2017年2月1日 Pushed update to github - 今、あなたはcreate_tcmに直接重みベクトルを指定することができます。

重み関数は、hereと定義されています。 あなたは、ウィンドウ内の各用語について等しい重みが必要な場合は、常に1を返すように重み関数を調整する必要があります（ただ、変更機能の定義をレポのクローンを作成し、devtoolsまたはR CMD buildでソースからパッケージをビルドする）：

inline float weighting_fun(uint32_t offset) { 
    return 1.0; 
} 

しかし、いくつかの人々は既にこの機能を求めており、おそらく次のリリースでこのオプションを含める予定です。