ファイルサーバーの分散キャッシング

Question

非常に大きなファイルサーバー（HTTPおよび/またはFTP）があります。いくつかのファイルは、約5システムで使用されます。たとえば、システムAはファイルAとBを使用します。次にシステムBはファイルAとCを使用します。

一般的に使用されているファイルをシステム内にキャッシュできるアプリケーションがありますか？

私はイカの代替品を探しています。ありがとう。

Answer 1

Hadoopを見ましたか？私は自分でそれを使用していないが、それはあなたが望むものを正確に行うようだ。

Answer 2

ファイルを100個のMBに保存する場合、この問題を解決するにはHadoopをお勧めします。しかし、コミュニティによると、HadoopはkBまたは< 200-300MBのファイルにはあま​​り適していません。

このような場合、HBaseはHadoop上に構築することをお勧めします。このコンボは、高い可用性とスケーラビリティを同時に実現します。しかし、Hadoopの設定は、Hadoopの設定が必要以上に大きくなる可能性があることを示しています。開発環境/テストクラスタのサイズはrecommendedで4〜5台のサーバーで構成されていますが、運用環境の最小値は10台以上です。

イカWebキャッシュの代わりに有効なのはVarnishです。