HTMLStripCharFilterがカスタムアナライザのcreateComponent実装で動作しません

Question

カスタムアナライザ実装のcreateComponents実装でHTMLStripCharFilterを使用しましたが、HTMLはコンテンツからは削除されません。コードを以下で見つけてください。

@Override 
    protected TokenStreamComponents createComponents(String fieldName) 
    { 
     StandardTokenizer source = new StandardTokenizer(); 
     source.setReader(mStripHTML ? new HTMLStripCharFilter(getReader()) : getReader()); 
     source.setMaxTokenLength(maxTokenLength); 
     TokenStream result = new StandardFilter(source); 
     result = new LowerCaseFilter(result); 
     return new TokenStreamComponents(source, result); 
    } 

Answer 1

CharFilterがあなたのcreateComponents方法で定義するべきではありませんあなた、それはinitReaderにする必要があります：

@Override 
protected Reader initReader(String fieldName, Reader reader) { 
    return mStripHTML ? new HTMLStripCharFilter(reader) : reader; 
} 

@Override 
protected TokenStreamComponents createComponents(String fieldName) 
{ 
    StandardTokenizer source = new StandardTokenizer(); 
    source.setMaxTokenLength(maxTokenLength); 
    TokenStream result = new StandardFilter(source); 
    result = new LowerCaseFilter(result); 
    return new TokenStreamComponents(source, result); 
} 

Answer 2

私の代わりにCustomAnalyzerを使用することをお勧めしたい：https://lucene.apache.org/core/6_0_1/analyzers-common/org/apache/lucene/analysis/custom/CustomAnalyzer.html

（それが利用可能ですLucene 5.x以降）