大規模データの探索と分析のためのアーキテクチャ

Question

大規模な一連のイベント（数百万のオーダー）に対してデータ探索システムを構築する予定です。 イベントは、時間、緯度/経度座標、およびtypeやuserIdなどのドメイン制限値を持つその他のプロパティで構成されます。

目標は、3枚のパネル上のデータの可視化を提供することです：

• 地図（マーカーまたはヒートマップにクラスタ化されたイベント）
• 時間ヒストグラム（日付別のイベントの分布）

ユーザーが対話的な属性（面）、時間間隔または空間範囲をフィルタリングすることで、データをドリルダウンします：

は、ヒストグラム（タイプ、ユーザー、...属性のヒストグラム）を属性。

私たちはOLAPサーバーを考えていますが、これが最も適切なソリューションかどうかはわかりません。

このような大きなデータセットでこの操作を処理できるアーキテクチャ/システムはどれですか？ これに関する経験や提案はありますか？好ましくは、オープンソース構成要素を用いる。

おかげ

Answer 1

は正式には、MathGLは（変化するので、上のヒストグラム、プロット、およびを作る）を簡単に設定、そのようなデータを扱うことができます。通常は、より大きなデータセット（最大数Gbまたは約1e8数）をプロットします。 MathGLは無料の（GPLと部分的にLGPL）プロットライブラリです。