中国語の単語リストを持っている場合:like reference = ['我'、 '是'、 '好'、 '人'] 、仮説= [「我」、「是」、「善良的」、「人」。私は中国語翻訳のために:nltk.translate.bleu_score.sentence_bleu(参照、仮説)を使用できますか?それは英語と同じですか?日本人はどうですか? 私は英語のような単語リスト(中国語と日本語)があればいいですか。ありがとう!BLEUのスコア:中国語でbleuのスコアを計算するのにnltk.translate.bleu_score.sentence_bleuを使用できますか
1
A
答えて
1
TL; DR
はい。ロング
BLEUスコア措置nグラムや言語に依存しないが、その言語文をトークンに分割することができ、実際にその依存で
。はい、それは中国語/日本語を比較できます。
文章レベルでBLEUスコアを使用する際の注意に注意してください。文章レベルの比較を念頭に置いて作成されたことはありませんでした。ここで素敵な話題があります。https://github.com/nltk/nltk/issues/1838
おそらく、短い文章があると警告が表示されます。
>>> from nltk.translate import bleu
>>> ref = '我 是 好 人'.split()
>>> hyp = '我 是 善良的 人'.split()
>>> bleu([ref], hyp)
/usr/local/lib/python2.7/site-packages/nltk/translate/bleu_score.py:490: UserWarning:
Corpus/Sentence contains 0 counts of 3-gram overlaps.
BLEU scores might be undesirable; use SmoothingFunction().
warnings.warn(_msg)
0.7071067811865475
あなたは短い文章を克服するためにhttps://github.com/alvations/nltk/blob/develop/nltk/translate/bleu_score.py#L425に平滑化機能を使用することができます。
>>> from nltk.translate.bleu_score import SmoothingFunction
>>> smoothie = SmoothingFunction().method4
>>> bleu([ref], hyp, smoothing_function=smoothie)
0.2866227639866161
+0
ありがとう@ alvasあなたはとても親切です!あなたの答えに基づいて、corpus_bleuは同じです。 – tktktk0711
関連する問題
- 1. seq2seq_modelのattentionデコーダの注意値にアクセスしてbleuスコアをプロットする方法
- 2. 合計スコアにスコアを追加する
- 3. 各生徒の合計スコアを計算して保存し、クラス全体の平均スコアを計算します。
- 4. Jawbone Appでの食物スコアの計算
- 5. .NETのtスコアからパーセンタイルを計算
- 6. Apache SparkでのJaro-Winklerスコア計算
- 7. Luceneを使用してTFIDFスコアを計算する
- 8. データ房で計算Zスコアが、NA
- 9. シャドー変数を使用したスコア計算のパフォーマンス
- 10. CheckBoxでシンプルクイズアプリケーションの正しいスコアを計算する
- 11. ストアドプロシージャの加重(ベイジアン)平均スコア/インデックスを計算しますか?
- 12. 何かが本当であればスコアを計算する
- 13. LuceneのNullPointerException TF-IDFスコア計算ツール
- 14. 機械学習:バイナリラベルの精度スコアを計算すると、精度スコアが低くなりますか?
- 15. pysparkでMultiClassMetricsを使用してfスコアを計算する方法は?
- 16. ランクの位置に基づいてスコアを計算する
- 17. sklearnを使ってF1スコアを計算する
- 18. sklearn:テストデータセットのk-meansの精度スコアを計算する
- 19. 複数ファイルの可読性スコアを計算するR
- 20. SklearnのF1スコアを正しく計算する
- 21. 精度、リコール、f1スコアから精度を計算する - scikit-learn
- 22. FacebookスコアAPIを使用してすべてのユーザーのスコアを取得する
- 23. xgbのf-スコアを使用
- 24. スコアapiを使用して複数のスコアを取得するにはどうすればよいですか?
- 25. 答えをチェックしてスコアを計算する - JavaScript/HTML
- 26. 検索用語の類似性スコア
- 27. 精度、リコール、Fスコアを計算する - python
- 28. Python - リスト内の逆の位置に基づいてスコアを計算する
- 29. 入れ子クラスのDroolsスコア計算は派生クラスでは失敗します
- 30. 関数のスコアはすべてのドキュメントで同じスコアを返します
なぜあなた自身で試してみませんでしたか? =( – alvas