Apache LuceneはStopAnalyzerとStopFilterを使用してもストップワードをフィルタリングしません

Question

キーワードを取得するApache Lucene 5.5/6.0に基づくモジュールがあります。 1つのこと以外はすべて正常に動作しています - Luceneはストップワードをフィルタリングしません。

私は2つの異なるアプローチでストップワードフィルタリングを有効にしようとしました。

アプローチ＃1：

tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), EnglishAnalyzer.getDefaultStopSet()); 
tokenStream.reset(); 

アプローチ＃2：

tokenStream = new StopFilter(new ClassicFilter(new LowerCaseFilter(stdToken)), StopAnalyzer.ENGLISH_STOP_WORDS_SET); 
tokenStream.reset(); 

完全なコードはここにあります：
https://stackoverflow.com/a/36237769/462347

私の質問：

1. なぜLuceneはストップワードをフィルタリングしないのですか？
2. Lucene 5.5/6.0でストップワードフィルタリングを有効にするにはどうすればよいですか？

Answer 1

問題は、デフォルトのLuceneのストップワードリストがはるかに幅広くなることを期待していたことでした。ここで

は、デフォルトではカスタマイズされたストップワードリストをロードしようとするコードであり、それが失敗したなら、標準のいずれかを使用します。

CharArraySet stopWordsSet; 

try { 
    // use customized stop words list 
    String stopWordsDictionary = FileUtils.readFileToString(new File(%PATH_TO_FILE%)); 
    stopWordsSet = WordlistLoader.getWordSet(new StringReader(stopWordsDictionary)); 
} catch (FileNotFoundException e) { 
    // use standard stop words list 
    stopWordsSet = CharArraySet.copy(StandardAnalyzer.STOP_WORDS_SET); 
} 

tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), stopWordsSet); 
tokenStream.reset(); 

Answer 2

どちらもアプローチ1とアプローチ2の両方でテストされていますが、どちらもストップワードをうまく除外しているようです。ここで私はそれをテストする方法です：

public static void main(String[] args) throws IOException, ParseException, org.apache.lucene.queryparser.surround.parser.ParseException 
{ 
    StandardTokenizer stdToken = new StandardTokenizer(); 
    stdToken.setReader(new StringReader("Some stuff that is in need of analysis")); 
    TokenStream tokenStream; 

    //You're code starts here 
    tokenStream = new StopFilter(new ASCIIFoldingFilter(new ClassicFilter(new LowerCaseFilter(stdToken))), EnglishAnalyzer.getDefaultStopSet()); 
    tokenStream.reset(); 
    //And ends here 

    CharTermAttribute token = tokenStream.getAttribute(CharTermAttribute.class); 
    while (tokenStream.incrementToken()) { 
     System.out.println(token.toString()); 
    } 
    tokenStream.close(); 
} 

結果：

一部
もの
必要
分析私のサンプルの4つのストップワードを排除してい

。