MySQLバイナリログからKinesisへのストリームデータ

Question

レガシーシステムからの書き込み集中型のテーブル（AWS RDS MySQL上）があり、そのテーブルからkinesisへのすべての書き込みイベント（挿入または更新）をストリーミングしたいとします。考え方は、キャッシュをウォーミングアップして検索エンジンを更新するパイプを作成することです。

現時点では、基本的にSQLを使用して、ルーディメンタル・ポーリング・アーキテクチャを使用していますが、プッシュ・アーキテクチャでトランザクション・ログから直接イベントを読み取るのが理想的です。

誰でも試しましたか？推奨されるアーキテクチャは？

Answer 1

私はすでに、Oracleでこれをやっている顧客もいます。また、LinkedInはデータベースから他の場所にデータをストリーミングする技術をたくさん使用しているようだ。彼らは、無関係な方法でそれを達成するためにDatabusというプラットフォームを作りました。https://github.com/linkedin/databus/wiki/Databus-for-MySQL。

のGithubの公共プロジェクトがすでにMySQLからのキネシスストリームにビンログをストリーミングしているLinkedInの原則以下、あります - https://github.com/cmerrick/plainview

あなたはLinkedInのアプローチの核心ザラザラ詳細に取得したい場合は、本当にすてきがあります（そして広範な）ブログ投稿が利用可能です - https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying。

なく、少なくとも最後に、Yelpのはなく、カフカと、そのようによくやっている - 私たちはゲームにキネシスストリームを持っている場合https://engineeringblog.yelp.com/2016/08/streaming-mysql-tables-in-real-time-to-kafka.html

私は、簡潔にするために、キネシスストリームの基本になっていませんなぜそれがうまくいかないのか分かりません。実際のところ、それはそのために構築されたものです - データベーストランザクションログはイベントのストリームです。 Amazon Web Services公開ドキュメントの抜粋を借用：Amazon Kinesis Streamsは、リアルタイムのデータ処理を可能にします。 Amazon Kinesis Streamsを使用すると、生成されたデータを継続的に収集し、ビジネスやオペレーションに関する重要な情報に迅速に対応することができます。

これが役に立ちます。