新しいファイルがS3バケットにアップロードされたときにSQSイベントが公開されていません

Question

今日、問題が発生しました。解決策があるかバグかどうかはわかりません。

S3のインターフェイスには、S3とSQSとAPI Gatewayを使用しています。新しいファイルがゲートウェイ経由でアップロードされるたびに、新しいイベントがSQSに公開されており、問題はありません。

今日、私は私たちのサービスの新しいバージョンを導入し、SQSメッセージを消費します。すべてが正常に動作することをテストするために、私は新しいS3バケットとそれに対応するSQSキューを作成しました。 boto3 Pythonライブラリを使用して、私が生産用バケットから新しく作成したものにオブジェクトをコピーするよりも始めました。

しばらくすると、一部のファイルではSQSイベントが公開されていないことに気付きました。研究の結果、このようなファイルはすべて8Mbよりも大きいことが判明しました。

私はまた、場合によってはAWS CLIを使用してファイルをアップロードしようとしましたが、結果は同じでした。

ただし、AWS Webコンソールからファイルをアップロードすると、SQSイベントが公開されています。

API GatewayまたはAWS Web Console経由S3へのアップロードではなくAWS CLIまたはboto3そしておそらく他のライブラリときにすべてが動作します。 バグや制限などのようですが、ドキュメントが見つかりませんでした。

誰も同じような動作を経験しましたか？

ご協力いただきありがとうございます。

Answer 1

私は、CLI（およびSDK）がマルチパートアップロード操作の実行を開始するサイズは8MBと考えています。おそらくS3バケットのs3:ObjectCreated:CompleteMultipartUploadイベントの通知を有効にする必要があります。