ES制限トークンカウント - トークンフィルタなぜこれが必要でしょうか？

Question

最新のElasticsearchドキュメントバージョン5.1には、トークンカウント - トークンフィルタの制限に関するセクションがあります。

https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-limit-token-count-tokenfilter.html

それはたぶん私はここに何かが欠けています。1.

にデフォルト設定が、1があまりにも低いようです「max_token_count」と呼ばれる設定があります。ドキュメントごとに最大トークンの数を制限する必要がある、または制限したいのはなぜですか？

これは、非常に大きな文書のインデックスに影響しないでしょうか？

Answer 1

デフォルトの1トークンは奇妙に見えますが、最大トークン自体はかなり賢明です。私は独自のフィルタと組み合わせて自分自身を使って、ユーザーが生成した非常に長いデータがどのように検索可能かを制限しています。

問題のフィールドはデータを格納することができる「メモ」フィールドです。ここのデータは関連性にのみ影響し、プライマリ検索フィールドではないため、Googleのelasticsearchストレージの膨大な塊をそれに費やす理由はありません。

つまり、これを実装する私の現在の努力はmax_token_countパラメータを尊重するものではないので、それがどうなるかを見ていきます。