RAMDirectoryを使用し、オブジェクトサイズが2GBを超える場合にOutOfMemoryExceptionを回避する方法

Question

パフォーマンスを改善するためにインデックス全体をRAMDirectoryを使用してメモリに格納しています。インデックスが成長して成長するまでうまく機能しました。今私はOutOfMemoryExceptionを得ています。ディスク上の私のインデックスは1.24GBですが、私はRAMDirectoryオブジェクトのオブジェクトサイズが.NET 2GBオブジェクトサイズの制限を超えてしまい、例外がスローされると思われます。別の理由は、仮想アドレス空間が断片化しすぎて、オブジェクトに十分な大きさの穴が見つからないことがあります。

私はRAMDirectoryを使い続けたいと思います。 OutOfMemoryExceptionを避けてどうすればいいですか？

インデックスを書くときには、IndexWriter.Optimizeと呼びますので、インデックス全体が1つの大きなファイルになるようにしてください。

Answer 1

RAMDirectoryを使用し続ける唯一の方法は、いくつかの小さなインデックスで分割し、MultiSearcherを使用することです。

この方法では、.NET 2GBオブジェクトのサイズ制限を回避できます.64ビットでも1つのオブジェクトのサイズ制限が2GBであっても、RamDirectoryは内部的にインデックスを表す配列を保持し、おそらくそれはあまりにも大きい場合、それを爆破させるものです。

私の謙虚な意見では、おそらく大規模なインデックスを持つFSDirectoryの使用について考えなければならないでしょう。スピードは通常、ウォームアップ後のほとんどのアプリケーションで十分です。