イベント処理フレームワークの推奨事項

Question

イベント処理ドメインの新機能です。私は自分の要件に合わせてJavaベースのイベント処理フレームワークを探しています。 Myriadのフレームワーク（Apache Storm、Apache Kafka、RabbitMQなどの伝統的なイベントブローカー）に関するドキュメントとチュートリアルの迷路を見てきました。私は誰も賢明ではない。

私の要件は次のとおりです。私は私にプッシュされるイベントのソース（例えば、使用状況の追跡）を持っています。私は彼らと一緒に次のことをしたい：

1. バケット（例えば、顧客によって異なるバケットにそれらを分割）
2. がデータベースにバッチとして、すべてのバケットのイベントを挿入します。
3. ロードバランシング/イベントの優先順位付けを実行します。優先度の低い顧客が大きなナンバーを押して欲しくないようにしてください。優先度の高い顧客を飢えさせるイベントがいくつか発生しています。

私はイベントの注文についてあまり気にしませんが、高可用性これらのシステムを確実にしたいと思います。

まず始めにいくつか指摘しましょう。技術基盤はないが、Javaベースのもの。あなたのケースでは

• Storm
• Spark Streaming（マイクロバッチ処理）
• Samza
• Flink

：

Answer 1

分散データ処理をリアルタイムに行うための優れたフレームワークがあります。 、私はそれらのフレームワークの1つを選択すると思うあなたはナットを割るために大槌をとっています。 Kafkaクラスタに加えて、マスターノードとスレーブノードを持つクラスタを展開して管理する必要があります。

あなたのアーキテクチャをシンプルでスケーラブルで高可用性に保つには、KafkaStreamsを見てください。 KafkaStreamsは、kafkaトピックのリアルタイム計算を行うための新しいJava API（kafka 0.10以降で利用可能）です。

KafkaStreamsアプリケーションは単純なJavaアプリケーションであるため、既存のアプリケーションにジョブを組み込むことができます。

また、Kafka Streamsジョブは、java -jarという簡単なコマンドでデプロイできます。