2017-11-26 6 views
0

Apache Nutch(2.3.1)とmongodb(3.4.7)の新機能です。インスタレーションの手順の後、私はURLを注入し、ウィキペディアのウェブサイトをクロールしたい。私がこのエラーに直面した端末で "./nutch inject urls"を実行すると、Apache Nutch注入URL

~/apache-nutch-2.3.1/runtime/local/bin$ ./nutch inject urls InjectorJob: starting at 2017-11-26 19:07:35 InjectorJob: Injecting urlDir: urls InjectorJob: org.apache.gora.util.GoraException: java.lang.NullPointerException at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:167) at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135) at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:78) at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218) at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252) at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:275) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:284) Caused by: java.lang.NullPointerException at java.util.concurrent.ConcurrentHashMap.get(ConcurrentHashMap.java:936) at java.util.concurrent.ConcurrentHashMap.containsKey(ConcurrentHashMap.java:964) at org.apache.gora.mongodb.store.MongoStore.getDB(MongoStore.java:192) at org.apache.gora.mongodb.store.MongoStore.initialize(MongoStore.java:122) at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102) at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161) ... 7 more

+0

'urls'ファイルは存在しますか?それにはURLが含まれていますか? – MatsLindh

+0

お返事ありがとうございます。このリンクを使用してインストールしました:https://lobster1234.github.io/2017/08/14/search-with-nutch-mongodb-solr/実際に私はurlsディレクトリに.txtを作成し、このリンクを "https://www.wikipedia.org"に入れます。それに。ちなみに "nutch"はファイルですが、このユーザでは作者がディレクトリとして作業しています(この部分:$ runtime/local/bin/nutch inject urls /) –

+0

MongoDBのcreateDataStoreをバーフィングしているので、私の推測はMongoの設定の一部が欠落していますか? – MatsLindh

答えて

0

実は私は$ NUTCH_HOME/confに/ gora.propertiesファイルに間違ったモンゴのdatabase'nameを設定していました。それを修正した後、Apache nutchは正しく動作します。

関連する問題