2011-07-04 10 views
9

私はNoSQLデータベースが比較的新しく、監視ツール用に異なるNoSQL-Solutionsを評価する必要があります。CouchDBは毎日1500万レコードを処理できますか?

状況は以下の通りです: 一つのデータは、大きなちょうど約100バイトであるが、それらの多くは実際にあります。日中、私たちは約15万レコードを取得し...だから私は現在、(SQL-挿入スクリプトとして15ギガバイト程度)9億記録

私の質問があるとテストしている:CouchDBのは私のニーズに合わせていますか?私は(レコードが作成された日に)範囲のquerysを行うと、私はMapReduceのはおそらくことを計算するための最善の解決策であることを知っているデータムに格納されている「セカンダリインデックス」。) によってdefiniedグループにacoording列の一部を総括する必要があります受け入れ可能な時間にこれを行うことができるCouchDBのJavaScriptですか?

私はすでに、MongoDBのを試してみましたが、それは本当に貧しいのMapReduceはくだらない仕事をしたのです...私はまた、HBaseのとカサンドラについてお読みください。しかし、メイビーCouchDBのも良い可能性

私は...私はあなたにすべての必要な情報を与えた願っていますあなたの助けをありがとうです!

あなたは非常に良いハードウェアを持っていない限り、アンディは

+1

まず、パフォーマンスを知る唯一の方法は、推測する変数が多すぎるため、パフォーマンスを測定することです。第二に、半世紀にわたるRDBMの経験が100オクテットのデータを処理するのを待っているときに、構築されたストレージにあまり集中しないようにしてください。私は100B /行で推測していますが、あなたのデータは非常に変種ではありません(SSが優れています)。 – msw

+0

良い点、@ msw。もちろん、パフォーマンスを決定的に*知る方法は測定です。しかし、私はそれが最初の近似、球場推定を求めるのが有効であると思います。質問のタイトルをもう少し白黒に変更しました。 (あなたが投票に投票したのか、それとも他の人だったのかは分からないが、IMHOは公正な質問だ。)最後に、RDBMについて完全に正しい。彼らは私たちが信用を与えるよりも貴重です。 – JasonSmith

+0

私が評価しているデータは、現在、非常に強力なSQLサーバによって処理されています。しかし、それはデータの大量の情報を得るためにユーザーによって送信された要求を処理することはできません。それは単に多くの時間が必要です。そのため、私たちはNoSQL-Solutionsを水平方向にスケーリングできる機能で検索しています。 – andy

答えて

9

率直に言って、この時点では、のApache CouchDBの問題が発生したことがあります。おそらくMap/reduceはうまくいくでしょう。 CouchDBのインクリメンタル map/reduceは、あなたの要件に最適です。開発者として

、あなたはそれを愛します!残念ながら、システム管理者としては、予想以上に多くのディスク使用量やI/Oが発生することがあります。

私はそれを試してみることをお勧めします。 HTTPとJavascriptなので、実現可能性テストを行うのは簡単です。初期のビューの作成には長い時間がかかります(引数が他のすべての競合するデータベースよりも長くかかると仮定します)。しかし、その時にはは決してになるでしょう。マップ/縮小はに1回のみ(文書の更新ごとに)です。

名前のブランドApache CouchDBが遅いが、ソファーでリラックスするのを楽しむならば、BigCouchクラスターは間違いなくその負荷を確実に処理します。私はかなり大きいデータとこれ以上のI/O要件を持つBigCouchクラスタがあると確信しています。

+1

+1ただし、ここでは「決して」とは、「設計文書への変更によってビューの再構築が引き起こされる」ということです。ちょうどこれを準備するために::) –

+4

プロダクション用には、そこへの解決策があります。あなたがどのように尋ねるなら、私は詳細を述べてうれしいです。短いバージョン:別のIDを持つ新しいデザインのドキュメントを送信します。索引を作成して索引を作成します。完了したら、HTTP COPYを使用して新しいものの名前を古いものに変更します。アトミックアップグレード、ダウンタイムなし。 – JasonSmith

+0

+1公正な質問と公平な答え(そして、私は新しいメンバーに優しくしようとしているので、あなたが斜めに質問したので)説明なしで私から近い投票はありません。ショーンCopenhaverは、CouchDBのユーザーに送信されたとき、私は、詳細をお尋ねすることを約あった – msw

関連する問題