EC2インスタンスのAWS S3のデータを処理する

Question

AWS S3バケットに格納された膨大な量の画像を、同じ可用性ゾーンにあるEc2インスタンスから処理する最良の方法は何か疑問に思っています。

処理する必要があるたびに画像をダウンロードし、終了したら削除して、何か処理をする必要があるたびに同じことをする必要がありますか？

または、S3バケットをEC2インスタンスにマウントするなどの方法がありますか？マウントのためのヒューズのようなツールを見てきましたが、これがデータを処理する最良の方法かどうかはわかりません。

Answer 1

まずは、各EC2インスタンスを強制終了することができるので、S3のようにデータと結果を合理的なストレージに保管してください。

画像全体をメモリに取り込んで処理すると、処理が行われます。ディスクにフェッチする必要はありません。一方、イメージがかなり大きい場合は、各パートを何度もフェッチすることができます。だから、少なくとももっと多くの情報があれば、簡単な答えはありません。

map reduce solutionsをご覧ください。どのように処理単位にデータを近づけて扱うか。 Sparkはメモリ内のものを処理することができます。

マウントリソースについて。マウントできるElastic File SystemやElastic Block Storageなどのオプションがあります。