2017-12-30 50 views
12

ソースディレクトリには多数の大きな画像ファイルとビデオファイルが含まれています。AWS S3バケットでファイルの依存関係を把握できますか?

これらのファイルは、aws s3 cpコマンドを使用してAWS S3バケットにアップロードする必要があります。たとえば、このビルドプロセスの一環として、画像ファイルmy_image.jpgを次のようにS3バケットにコピーします。aws s3 cp my_image.jpg s3://mybucket.mydomain.com/

このコピーをAWSに手動で行うことは問題ありません。そして私はそれをスクリプト化することもできます。しかし、私は画像ファイルをアップロードするためにメイクファイルを使いたいです。my_image.jpgもし私のS3バケットの同じ名前のファイルが私のソースディレクトリのものより古いです。

一般に、makeは、ファイルの日付に基づくこの種の依存性チェックで非常に優れています。しかし、makeにS3バケットのファイルからファイルの日付を取得し、それを使って依存関係を再構築する必要があるかどうかを判断する方法はありますか?

+0

'cp'ではなく' sync'を使用できない理由はありますか? https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html#examples –

+0

Mike。私はsyncコマンド/を知らなかった。私は私のニーズを満たすためにそれを使うことができると思う。ありがとう!あなたが回答としてあなたのコメントを投稿した場合、あなたはポイントを与えることができるようにそれを正しいとマークします。 –

答えて

6

AWS CLIには、これのかなりの量を処理できるs3 syncコマンドがあります。 2つのS3オブジェクトのサイズは、ソースの最終更新時刻が最終更新時間よりも新しい、

  • を異なる

    • the documentationから:場合

      A S3オブジェクトは、コピーを必要とします、

    • 、または指定されたバケットおよびプレフィックスの下にs3オブジェクトが存在しません。
  • 2

    この作業を行うには、S3をファイルシステムのように見せる必要があると思います。 Linuxでは、そのようなアダプタを構築するのに、FUSEを使用するのが一般的です。 Herearesome S3をローカルファイルシステムとして表示するプロジェクトです。私はそれらを試していないが、行く方法のように思える。

    関連する問題