solrでHTMLを索引付けする

Question

私は大規模なウェブサイトをnutchでクロールしてから、solrで索引付けし、結果はかなり良いです。しかし、サイト全体には、クエリの結果を索引付けして駄目にするいくつかのメニュー構造があります。

これらのメニューのそれぞれは、DIVに明確に定義されていますので、<div id="RHBOX"> ... </div> or <div id="calendar"> ...</div>などがあります。

これらのDIVSのコンテンツをある時点で削除する必要があります。

私は、適切な場所がsolrによるインデックス作成中であることを推測していますが、方法を理解することはできません。

パターンは(<div id="calendar">).*?(<\/div>)のようになりますが、それは<tokenizer class="solr.PatternTokenizerFactory" pattern="(<div id="calendar">).*?(<\/div>)" />で動作するようにはできません。どこにschema.xmlを配置するかはわかりません。

私はschema.xmlにそのパターンを入れても解析しません。編集

Answer 1

スティックので、私はこの行を追加してい

あなたはSolrの内で利用可能なHTML異なるHTMLトークナイザで見たことがありますか？

http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#solr.HTMLStripWhitespaceTokenizerFactory

彼らはあなたがこの問題を解決する必要があります。 htmlタグそのものにインデックスを付けるべきではありません。ただし、特定のタグを一意に識別する必要がある場合は、個々のフィールドを作成し、それらのフィールドに特殊タグの内容を格納する必要があります。