Nutchのデータを複数のwarcファイルにダンプする

Question

Nutch 1.12を使用してウェブサイトのリストをクロールしました。私は、複数のWARCファイル、一つに集められたデータをダンプすることができ

./bin/nutch warc crawl/warcs crawl/segment/nameOfSegment 

しかし、どのように：

./bin/nutch dump -segment crawl/segments/ -o outputDir nameOfDir 

そして使用して、単一のWARCファイルには：私が使用して別のHTMLファイルにクロールデータをダンプすることができますクロールされた各ウェブページについて

Answer 1

は、かなりの数の試みの後、私は

./bin/nutch commoncrawldump -outputDir nameOfOutputDir -segment crawl/segments/segmentDir -warc 

は私がまさに必要ないことを見つけるために管理しました！

Answer 2

文書ごとに1つのWARCを持つのは少し無駄ですが、ここではあなたが行く： 新しい文書が書き込まれるたびにファイルが回転するように、 'warc.output.segment.size'に低い値を指定できます。 WarcExporterは[https://github.com/ept/warc-hadoop]をボンネットの下で使用し、configがそこで使用されます。セグメントの完全なダンプを個別WARCファイルに：