ドキュメントインデックスのサイズが元のサイズを超えています

Question

ドキュメント（.doc、.ppt、.pdfなど）を添付ファイルとしてインデックスに追加（コンテンツフィールドをBASE64コンテンツとして保存）してから、検索クエリとハイライト結果のファイルの内容フィールド。 インデックスに登録するときに、ファイルのサイズが大きくなるのはなぜですか？

たとえば、文書のインデックスが作成されるフォルダの合計サイズは30MBです。しかし、ヘッドプラグインはここで（同じフォルダからインデックス化されている）ファイルの数が同じ

のための127メガバイトを示していることは、私のマッピングスタイルです：

var response= client.CreateIndex(defaultIndex, c => c 
        .Mappings(m => m 
        .Map<Document>(mp => mp 
        .Properties(ps => ps 
         .String(s => s.Name(e => e.Title)) 
         .Attachment(s => s.Name(p => p.File) 
          .FileField(ff => ff.Name(f => f.File) 
          .TermVector(TermVectorOption.WithPositionsOffsetsPayloads) 
          .Analyzer("english") 
          .Store(true))))))); 

観察：私は正しいんだ場合は（いけない知っていますこれは） 手動IDを使用して文書を索引付けすると、サイズは約36MBですが、IDフィールドと索引を削除すると索引付けに時間がかかり、サイズが大きくなり、検索機能が正しく機能しません。それは、ファイルがインデックス化される方法に依存していますか？）

TIA

Answer 1

インデックスのサイズは、多くの異なる要因に依存します。フォルダの生のサイズは、索引の重さの程度を示す良い見積もりではありません。

ngramsトークナイザやトークンフィルタを備えたカスタムアナライザを使用している場合は、大文字テキストのフィールドにインデックスを付ける場合（あなたのケースのように見える） Luceneはmany different kind of filesを格納し、同じトークン（追加の位置とオフセットを持つ）が異なるファイルに存在する可能性があります。すべてがインデックスのサイズになります。

また、テスト中に何度もフォルダーを再インデックスすると、削除されたドキュメントが大量になるためインデックスサイズが大きくなります。

最後に、BASE64はinflate your contentに約3分の1であることがわかります。