大きな+小さなファイルストレージ（kubernetes上）のglusterfs + mongodbの代わりに？

Question

アプリケーションスタックにさまざまなコンポーネントを含むkubernetesクラスタを設定していますが、コンポーネントの数を最小限に抑えながらストレージ要件のバランスを取ろうとしています。

私たちは毎日何万ものHTMLファイル（および多分PDF）をダウンロードし、これらをどこかに（いくつかのJSONメタデータと一緒に）保存したいと思うウェブスクレイパーを持っています。私は、ファイルを冗長なスケーラブルな方法で保存したいが、何百万という小さなファイルを持つことは、例えば、 GlusterFS。

同時に、我々のシステムで使用されるいくつかの非常に大きなバイナリファイル（数ギガバイト）と、おそらく多くのより小さなバイナリファイル（MBの10個）があります。これらは、MongoDBのような配布されているNoSQL DBには適していないようです。

私はMongoDB + GlusterFSを使用してこれら2つのニーズに個別に対応することを検討していますが、むしろ動く部分の数を減らして1つのシステムだけを使用したいと考えています。私はGlusterFSの使用に関するさまざまな警告を、例えばRedhatのサポート（私たちは絶対に持っていないでしょう）。

誰にでも代替手段をおすすめできますか？私はセットアップ/保守が容易で、小さなファイルと大きなファイルの両方をサポートする分散バイナリオブジェクトストアであるものを探しています。私たちのセットアップの利点の1つは、ファイルの更新や削除がまれにしか行われない（書き込まれてから読み込まれる）ことがほとんどでなく、索引付け（elasticsearchで個別に処理される）や読み取りの高速アクセスも必要ないということです。

Answer 1

あなたは雲の中にいますか？ AWS S3が優れたスポットであれば、オブジェクトストレージはあなたが望むかもしれないように聞こえるが、あなたの必要条件は不明である。

クラウドに存在しない場合は、s3と同じ種類のオブジェクトストレージを提供するMinio（https://www.minio.io/）を実行できます。

私はMongoDBにバイナリドキュメントを格納していて、EBSボリュームを持つノードをバックアップしています。