2012-04-13 13 views
0

文章中の特定の単語が名詞/動詞/助詞などを意図しているかどうかを判断するためにビタビアルゴリズムを使用したビデオを見ただけで、使用されている単語の確率など、動詞が知られているので(放射)、動詞につながる名詞の確率(推移)。自然言語処理のためのviterbiアルゴリズム遷移値はどこにありますか?

http://www.youtube.com/watch?v=O_q82UMtjoM&feature=relmfu(ビデオ)

がどのように私はこのユースケースのための推移と排出確率の良いデータセットを見つけることができますか?

すべての確率を表示した単一の例でも、デモンストレーションで現実的な数値を使用したいと思います。

答えて

1

通常、隠れマルコフモデル(隠れマルコフモデル)の実装は、タグ付けのためのビタビアルゴリズムを実行することができないだけでなく、このアルゴリズムは、列車(例えばバウム=ウェルチアルゴリズム)モデルに使用されます。次に、モデル(すなわち、遷移確率および放出確率の集合)を得る方法は、適切な訓練コーパス(例えば、PennTreebank)上での訓練アルゴリズムを実行することである()。

私は容易に検査できる事前訓練モデルに付属しているPOSタガーの自由に入手可能な、既製のHMMベースの実装について知らない。しかしながら、多くの点でHMMに似たアプローチは、(CRF)である条件付きランダムフィールドです。東北大学で作成されたCRFTaggerには、事前に訓練された英語モデルが付属しているようです(ダウンロードして解凍した後にファイルmodel/model.txtを参照)。ファイルは人間が読める形式ですが、書式の詳細を理解するためには、著者に連絡する必要があります。

関連する問題