処理中wikipediaダンプファイル

Question

wikipediaダンプファイルを処理したい。他の意味では、私は各記事のタイトル、カテゴリ、テキストの内容を抽出したい。私はそれについて、私はそれを行うのを助けることができる任意のJava API /ツールです質問したい。 ありがとうございました

Answer 1

ウィキペディアのダンプファイルはXML形式です。したがって、この目的に使用できるXMLツールを使用できます。

ダンプファイルのサイズのため、DOMパーサがメモリ表現に全体をロードしようとするため、SAXパーサーはDOMパーサーよりもはるかに効率的です。

Answer 2

このようなものをお探しですか？

http://code.google.com/p/gwtwiki/wiki/MediaWikiDumpSupport

ページには、APIを操作する方法の例を示しています。

Answer 3

をご覧ください。ウィキペディアダンプに構造化されたアクセスを提供するjava apiです。データベース（mysqlなど）が必要です。最近のウィキペディアダンプでは、少なくとも4g以上のRAMが必要です。

しかし、使いやすい： あなたはすべてのページやページのタイトルとより多くのものを使いやすくイテレータを得ることができます。