2017-11-10 3 views
0

Stormcrawlerを使用している場合、Elasticsearchに索引付けされますが、コンテンツは索引付けされません。StormcrawlerがElasticsearchでコンテンツを索引付けしていません。

Stormcrawler、クローラ-conf.yamlが

indexer.url.fieldname: "url" indexer.text.fieldname: "content" indexer.canonical.name: "canonical"

URLを持っているelasticsearch-5.6.4

を使用した "起源/マスターのhttps://github.com/DigitalPebble/storm-crawler.git

で最新であるとタイトルフィールドは索引付けされますが、コンテンツは索引付けされません。

私はでジュリアンのチュートリアルに従うことによって、この作業を取得しようとしている:すべては、コンテンツがElasticsearchにインデックス化されていないため除いて、働いているhttps://www.youtube.com/watch?v=xMCuWpPh-4A

。私はこれがいくつかの小さな設定エラーのように感じるが、私は運がない多くのバリエーションを試してみた。だから、今私は助けを求める。

ありがとうございました。

答えて

1

コンテンツのインデックスが作成されていませんか?内容フィールドは格納されません。ES_IndexInit.shを参照してください。ただし、索引付けする必要があります。これを保存するには、initスクリプトを変更してクロールを再実行して、他のフィールドと同じように戻します。インデックスが作成されていることをテストするには、クエリを実行して結果にどのような影響があるかを確認してください。

+0

Julien、あなたは正しいです。私の用語は正しくありませんでした。実際には索引付けされていますが、格納されていません。それを格納するために、私は "store"を追加しました:true。 –

+0

この情報は金ですが、おそらくRomainに感謝の文書 –

+0

で明らかになっています。私はhttps://github.com/DigitalPebble/storm-crawler/blob/master/external/elasticsearch/README.mdにコメントを追加しました。 –

関連する問題