penn-treebank

    1

    1答えて

    カラムベースのCoNLLフォーマットからPenn Treebankアノテーションスタイルに変換するツール、スクリプトなどについて知っている人はいませんか?

    -1

    1答えて

    私はnltkが新しく、nltkツリーを扱うのが難しいと感じました。 Penn treebankからnltkの解析木が与えられたので、各ノードのスパンを下から上に再帰的に数えたいと思っています。リーフノードのスパンは1です。非終端ノードのスパンは、その子のスパンの合計です。誰かが私にこれを行う方法を教えてもらえますか? ありがとうございます。

    5

    1答えて

    私はNLTKパッケージをPythonで使って学びたいと思っています。特に、NLTKでpenn tree bankデータセットを使用する必要があります。私が知る限り、nltk.download('treebank')と呼ぶと、私はデータセットの5%を得ることができます。しかし、私はtar.gzファイルに完全なデータセットを持っており、それを使いたいと思います。あなたはペンツリーバンクのフルインストー

    8

    2答えて

    私はpenn treebankで言語モデルトレーニングを実装しています。 私はタイムステップごとに損失を加えて、パープレキシティを計算しています。 これは、しばらくの間、訓練をしても何億もの錯覚を感じさせません。 損失自体は減少しますが、最大でも約20まで低下します。 (私は賢明なperplexityを得るために損失のために1桁の番号が必要です)。 これは、私の錯覚計算が誤っているかどうか疑問です

    0

    1答えて

    私は、Penn Treebank(PTB)コーパスに基づいてLSTMで言語モデルをトレーニングしようとしています。 私は、コーパス内のすべてのバイグラムを訓練して、前の単語の次の単語を予測できるようにする必要があると考えていましたが、複数の先行する単語に基づいて次の単語を予測することはできません。 言語モデルを訓練するのはどういうことでしょうか? バッチサイズ= 20、ボキャブラリサイズが1000

    0

    1答えて

    センチメント分析のためにセンチメントスタンフォードNLPライブラリを使用しています。 今私が文 入力文からツリーバンクを生成したい: "効果的な、あまりにも、ぬるい伝記映画" 出力ツリーバンク:(2(3(3有効)(2しかし)) (1(あまりに卑劣な)(2 biopic))) 誰でも私にそれを行う方法を教えてもらえますか? ありがとうございます。