Hadoopの - 保存ログデータと、私は私の新しいプロジェクトのための研究を行っていますGUI

Question

を開発するには、以下は私のプロジェクト、研究や質問の詳細です：

プロジェクト：

1. 保存ログ（例：フォーマットはタイムスタンプ、ログエントリ、ロケーション、備考など）を異なるソースから取得します。ここでは、さまざまなシステムは世界中のさまざまなシステムからログデータを取得します（概要のみ）

2. （1で指定されたようにHadoopにログエントリを保存した後）Hadoopに保存されたログのレポートをドリルダウン、ドリルアップなど

注：約1分ごとに、システムからの50〜60MBのログエントリがあります（私はそれをチェックしました）。

研究質問：

1. 異なるソースからのHadoopでログエントリを保存するために、我々は、Apache水路を使用。
2. 独自のMRプログラムとサーブレットを作成しています。

flume以外のオプションはありますか？ Hadoop Data Analysis（オープンソース）ツールを使用してレポートなどを生成できますか？

私の研究をしていますが、もし私の誰かが私にいくつかのコメントを追加すれば、それは役に立つでしょう。

Answer 1

あなたはHIVEを使用できると思います。私はHadoopを初めて使っていますが、HIVEがハープ・アナリティクスのどこにあるのかを読んでいます。それがGUIを持っているかどうかは確かではありませんが、確かにそれは構造化されていないデータを照会するSQL機能を持っています。

Answer 2

あなたはDatameerを見ましたか？これらのタイプのファイルをすべてインポートし、レポートとダッシュボードを作成するGUIを提供します。