毎日たくさんのログファイルを取得しています。私はKafkaを使ってリアルタイム処理のためにApache Sparkにデータを送るアプリケーションに取り組んでいます。実際の考え方は、Spark内のログファイルを処理し、そのパターンを認識することです。私はSparkの処理で洞察を集めることができます。Apache Sparkからのプッシュ通知
今、通知メカニズムを確立したいと思います。したがって、Sparkが着信ログを処理し、重大なイベントを検出した場合は警告を送信する必要があります。そのアラートをプッシュ通知として配信する必要があります。どうすればこれを達成できますか?
PS:電子メールアラートを送信できます。私はそのことを準備しているが、プッシュ通知は大きなものになる可能性がある。だから私を助けて!
foreachRDDでは、 'rdd.foreachPartition'を使うことができます。ラムダでは、KafkaProducerを作成して、指定したトピックにメッセージを送信することができます。それはあなたが望むものですか? BTW。スパークは現時点ではリアルタイムに近いため、遅れはms単位ではなく秒単位になります。 * - 現在、RISELabはフルリアルタイムを提供するために変更を準備中です:) –
いいえ..カフカのプロデューサーがログファイルを送信し、私はそれらをスパークで消費しています。私は処理をしたい、重要なイベントがあるときに、プッシュ通知を送信したい。私の質問は、スパーク自体から通知を送ることですか? –