wikiを1つ以上のファイルでダウンロードする

Question

Hadoopでの作業のためにwikipediaからデータをロードしたいとします。私はいくつかのリンクを見つけました：http://www.kiwix.org/wiki/Main_Page#Wikipedia_files、https://archive.org/details/enwiki-20160113。しかし、私はそれがどのフォーマットになり、それをどのように扱うかはわかりません。ですから、疑問は誰でもウィキペディアを1つ以上のtxtファイルにダウンロードすることができるかどうかを知っていますか？

Answer 1

まあ、最新の完全版（別のダンプは20161101で進行中です）のダンプはこちらからダウンロードできます：https://dumps.wikimedia.org/enwiki/20161020/ 注：これにはメディアファイル自体は含まれておらず、この例は英語のみです他のサイトも利用可能です。