0

毎日たくさんのログファイルを取得しています。私はKafkaを使ってリアルタイム処理のためにApache Sparkにデータを送るアプリケーションに取り組んでいます。実際の考え方は、Spark内のログファイルを処理し、そのパターンを認識することです。私はSparkの処理で洞察を集めることができます。Apache Sparkからのプッシュ通知

今、通知メカニズムを確立したいと思います。したがって、Sparkが着信ログを処理し、重大なイベントを検出した場合は警告を送信する必要があります。そのアラートをプッシュ通知として配信する必要があります。どうすればこれを達成できますか?

PS:電子メールアラートを送信できます。私はそのことを準備しているが、プッシュ通知は大きなものになる可能性がある。だから私を助けて!

+0

foreachRDDでは、 'rdd.foreachPartition'を使うことができます。ラムダでは、KafkaProducerを作成して、指定したトピックにメッセージを送信することができます。それはあなたが望むものですか? BTW。スパークは現時点ではリアルタイムに近いため、遅れはms単位ではなく秒単位になります。 * - 現在、RISELabはフルリアルタイムを提供するために変更を準備中です:) –

+0

いいえ..カフカのプロデューサーがログファイルを送信し、私はそれらをスパークで消費しています。私は処理をしたい、重要なイベントがあるときに、プッシュ通知を送信したい。私の質問は、スパーク自体から通知を送ることですか? –

答えて

-1

1つのアプリをチェックアウトすることができます。このアプリはKafkaを読み込み(プッシュまたはプル)、すべての処理を非常に高い頻度のメモリクラスタ構造内(内部エンジン)で実行できます(1日で25億行のログファイル処理リアルタイム)。それは出力としてアクションとしてメール、SMS、rdbms dmls、Webサイトのポップアップなどを作成します。ここにevamと呼ばれるアプリへのリンクがあります。