aws s3バケットのアップロードに失敗したことの通知

Question

毎日ログデータをaws s3バケットにアップロードしています。いくつかの条件データがs3バケットに何日かアップロードされていないために通知を受ける方法はありますか？

Answer 1

データが破損したためにコンテンツがContent-MD5ヘッダーと一致しないためにS3が拒否したアップロードや、不正なアクセス、署名が無効である、または余分なクロックなど、発生しなかった操作に関する通知はありません要求に署名したシステムのスキュー、またはネットワーク接続の失敗、またはアップロードが正常に行われない可能性のあるその他の要因が含まれます。

バケットのアクセスログには、すべてではないものの一部が表示されます。

発生しなかったアップロードを見つけるための唯一の方法は、ヒューリスティックな分析を使用して問題を検出することです。例えば

、システムはログ番号Nが到着したが、あなたはログ番号のn-1を受けてのレコードを持っていない場合に警告を投げ、連番でログを送信することになっている場合。または、5分ごとにログが到着する場合は、（5 +（5×2））÷2）分のログが到着していない場合に警告を発します。これらのシナリオはどちらも、状態追跡のために別のデータベースを使用して最適に処理される場合があります。