同じ地域のS3からEC2に大きなファイルをダウンロードする最速の方法は何ですか？

ファイル操作のためにs3からec2インスタンスに大きなファイルをダウンロードしたい。これを行う最も高速で効率的な方法は何でしょうか？同じ地域のS3からEC2に大きなファイルをダウンロードする最速の方法は何ですか？

ありがとうございます！

出典

2016-08-07 h3y4w

VPCエンドポイントを使用することができます。https://aws.amazon.com/blogs/aws/new-vpc-endpoint-for-amazon-s3/ – Rocherlee

「最も速く効率的」とはどういう意味ですか？あなたは方法を試して、それが高速ではない/効率的であることを発見しましたか？これまでに試したことの例を挙げることはできますか？ –

私はAWS CLIを試し、約48秒で1GBのファイルをダウンロードしました。 S3とEC2は同じ領域にあった。この状況で毎秒が私に当てはまるので、より速い方法があるかどうかを知りたかっただけです。 – h3y4w

AWS Command-Line Interface (CLI)を使用してください。

ファイルをダウンロードするコマンドはaws s3 cp、ローカルディレクトリとS3の間でコンテンツを同期するにはaws s3 syncコマンド（またはその逆）があります。

出典

2016-08-07 07:08:57

これはみんながお勧めするようです。 – h3y4w

*たくさんの小さなファイルがある場合は、ダウンロードを並行して調査して、使用可能な帯域幅を十分に活用したい場合があります。しかし、大きなファイルの場合、オーバーヘッドが少なくて済むので、あまり役に立ちません。 –

速度を達成する1つの手法は、問題をより小さな問題に分割し、より小さな問題を並行して実行し、結果を組み立てることです。この場合、私は、各自がS3からEBS/EFSへファイルの一部をダウンロードする責任を持つ多数のワーカーが存在するユーティリティを書くことができると信じています。労働者はすべて並行して走ります。すべての作品がダウンロードされた後、それらは1つのファイルに結合することができます。

出典

2016-08-16 12:24:33 user3303254

同じ地域のS3からEC2に大きなファイルをダウンロードする最速の方法は何ですか？

答えて

関連する問題