ログファイルの処理：Apache StormまたはSpark

Question

ログファイルのデータを処理する必要があります。それは比較的簡単です。私は2つのWebアプリケーションがそれぞれ8つのログファイルを実行している4つのサーバーを持っています。これらは定期的に回転します。 ; 39048039; 930483; 3940830

番号は、データストアに識別子です

9340398：私は、これらのログファイルに次の形式で

ソースタイムスタンプをデータを書いています。私は、これらのログを読み込むプロセスを設定したいと思っています。それぞれのIDに対して、そのIDが記録された回数に応じてカウントを更新します。それはリアルタイムまたはバッチのいずれかです。私のデータストアへのインターフェイス言語はJavaです。このプロセスは本番環境で実行されるため、堅牢である必要がありますが、比較的シンプルなアーキテクチャーが必要なため、保守が必要です。私たちはまた、動物園を経営しています。

私の初期の考えは、ログファイルが回転されて各サーバー上でApacheスパークが実行されているときに、これを一括して実行することでした。しかし、私はその後、Apache Flume、Kafka、Stormなどのログアグレゲーターを見ていましたが、これは過度のようです。

経験に基づいてこの問題を処理するためにどのツールを使用するのか、誰にでも良い提案がありますか？

Answer 1

8ログファイルは、「大きなデータ」テクノロジを保証するようではありません。これらのタイプの技術を使ってプレイ/スタートしたいのであれば、SparkやFlinkで始めることをお勧めします。どちらも比較的似通ったプログラミングモデルを持っています。両方とも「ビジネスリアルタイム」を処理できます（Flinkはストリーミングはどちらもあなたのケースではうまくいくようです）。ストームは比較的硬く（トポロジーを変更するのが難しい）、より複雑なプログラミングモデルを持っています