sparkでストリーミングデータの書き込み先ログを書き込むときのパフォーマンスへの影響

Question

パフォーマンスとスループットの点で高価な操作を引き起こすストリーミングデータの書き込み先ログ（WAL）を書き込んでいますか？ WALのパフォーマンスメトリックを取得すると非常に役に立ちます。

Answer 1

ソースがkafkaの場合はWALを使用しない方がよい。各トピックの各パーティションのオフセットをzookeeperに保存する方が良いでしょう。アプリケーションが起動すると、最後に保存された飼い猫のオフセットが取り込まれ、次のイベントの処理が開始されます。 私の場合、ソースはkafkaであり、オフセットを動物園に格納することで解決しました。アプリケーションのスループットを大幅に最小限に抑えるWALを書くよりも効果的です。