language-model

    1

    1答えて

    gensim word2vecモデルを使用して、単語の可能性の高いシーケンスを取得しようとしています。私はこれらのファイルを提供しpretrainedモデルを発見した: word2vec.bin word2vec.bin.syn0.npy word2vec.bin.syn1neg.npy これは私のコードは、このモデルで文の確率を取得しようとしている:私はこのエラーを取得しています。このコ

    0

    1答えて

    私は、英語でコミュニケーションする方法に基づいて、その人の国籍を特定するプロジェクトに取り組んでいます。私は10の国籍を持っています& 1000ファイル、各国籍ごとに100。私は、私のアプローチを検証するために、機能としてN-gramを使用しています。& が与えられたため、すべてのファイルをピックアップ:(行として)ラベルとして&国籍を特徴として私のデータ構造は、私のステップである(列などの文字n

    -5

    1答えて

    私はこれをPythonで何かできますか?スクリプトは猫を返し、 I like cats. I like cats I like cats そして私は私が好きなを与えたときにそれが可能である: 私は3つの文章がありますか? 誰かからアドバイスやツールを教えていただけますか?

    0

    1答えて

    私は、Penn Treebank(PTB)コーパスに基づいてLSTMで言語モデルをトレーニングしようとしています。 私は、コーパス内のすべてのバイグラムを訓練して、前の単語の次の単語を予測できるようにする必要があると考えていましたが、複数の先行する単語に基づいて次の単語を予測することはできません。 言語モデルを訓練するのはどういうことでしょうか? バッチサイズ= 20、ボキャブラリサイズが1000

    0

    1答えて

    PyTorchでPythonコードを記述すると発生しました。 CrossEntropyLossを使用して単純な言語モデルを構築しようとしていますが、このエラーが発生しました。実際には、私はこのコードをthisに書いています。ここに私のコードです。ここで import numpy as np import torch from torch.autograd import Variable im

    0

    1答えて

    Andrej Karpathy Char-RNNからインスピレーションされました。char-rnn sherjilozair/char-rnn-tensorflow: Multi-layer Recurrent Neural Networks (LSTM, RNN) for character-level language models in Python using TensorflowのTen

    1

    1答えて

    TensorflowのPTB言語モデルにおける評価のための設定を検討している間、私はeval_configに評価するために、この設定によって当惑しています : eval_config = get_config() eval_config.batch_size = 1 eval_config.num_steps = 1 https://github.com/tensorflo

    0

    1答えて

    Tensorflowでは、私は0.602129または0.663941のような出力を得ています。 0に近い値はより良いモデルを意味するように見えますが、perplexityは2^lossと計算されているように見えます。これは損失が負であることを意味します。これは意味をなさない。

    0

    1答えて

    したがって、言語モデルを構築するために、語彙サイズを超えてランク付けされた単語の頻度が「UNK」に置き換えられます。 私の質問は、「UNK」に基づいて確率を評価するそのような言語モデルを評価する方法ですか?このような言語モデルのテストセット上での混乱を評価したいとします。モデルに未知の単語については、未知語の「バッグ」に基づいて評価します。 我々は1として、語彙サイズを設定した場合、すなわち、すべ

    0

    1答えて

    テンソルフロー音声認識アーキテクチャで言語モデルを統合するにはどうすればよいですか? 言語モデルが統合されていない限り、Tensorflow(例えばhttps://github.com/nervanasystems/neon,https://github.com/buriburisuri/speech-to-text-wavenet)に文字レベルの音声認識を構築するための例がありますが、面白くても