最近の活動を追跡するためのラウンドロビンのようなSQLテーブル

Question

24時間、7日間などのさまざまな期間でユーザーの活動を追跡する必要があります。非常に多数の異なる期間が予想されますが、ユーザーの数は非常に多くなります多分、おそらく何百万人も。各ユーザーの統計を要約する夜間のcronjobは妥当に聞こえません。過去に私はRRDテーブルでこのようなネットワークの使用状況を追跡しましたが、それらはBerkeleyDBだけであり、統計的に1つのファイルでなければ動作しませんでしたが、そのアイデアは私の後ろにあるようです。私が見落としているパターン/ベストプラクティスはありますか？

Answer 1

どのアーキテクチャを使用するか、どのハードウェアで購入できるかによって異なります。

大量のデータを分析するには、Hadoopのようなクラスタベースのフレームワークを利用し、データを扱うmap/reduce関数を作成します。

http://hadoop.apache.org/を参照してください。

ユーザーアクティビティをDailiyファイルに保存して、Hadoopクラスタにアップロードしてから処理することができます。

このようなソリューションは、商品のみのハードウェアが必要な場合に必要なスケーラビリティを提供します。