すべてのレコードを再処理する - DynamoDB Stream

Question

Awsのラムダ関数+ Firehoseを使用してDynamoDBストリームを使用して、データをredshiftと同期させています。すべてのDynamoDBレコードを再処理目的でストリームに追加することが可能かどうかを知りたい。そうでない場合、正しいアプローチは何ですか？

Answer 1

新しいデータについては、これを行うことができます。 履歴データについては、これを行わない方がよいでしょう。最初にテーブルをダンプしてからインポートすることができます。

Answer 2

古いデータを再処理する場合は、並列化されたフルテーブルスキャンが必要です。 「古いデータ」から「新しいデータ」への移行をどのように処理するかを決定する問題がありますが、利用可能な場合はタイムスタンプ属性を使用するか、可能であればテーブルへの書き込みを停止することで実現できます。