2016-04-08 16 views
0

最終的にマウントされたS3バケットにデータを取得するために、大量のデータ(link to data)をAWS Ubuntu Serverにダウンロードしています。問題は、200GBのディスクを搭載したAWS Ubuntu Serverにすべてのデータ(1TB以上のデータなど)をダウンロードすると、ディスクの制限を超えてしまうことです。したがって、これらの制約がある場合、どのように効率的にデータをS3バケットに転送できますか?AWS Ubuntu ServerからAmazon S3バケットにデータを移動する最善の方法は何ですか?

私は、ディスクへの1つのファイルのダウンロード、S3への同期、およびファイルの削除を考慮しましたが、この方法は非常に非効率的です。

+0

S3に直接アップロードできないのはなぜですか?なぜ中間のUbuntuサーバーですか? – helloV

+0

S3に直接アップロードすることはできません。 – Borealis

+0

UbuntuサーバーからS3にコピーしたファイルを削除するか、余分なEBSボリュームをUbuntuサーバーに一時的にマウントして、十分なスペースを確保してください。 –

答えて

2

コメントによると、これを行うにはawscliを使用してローカルマシンからs3に直接アップロードしてください。ここで

基本的な手順は次のとおりです。

ありavailable-他の多くの方法があるが、AWSの公式コマンドラインツールはよくありますサポートされており、シェルの知識を持つ人のために出発するのに最適な場所です。

2

膨大なデータファイルがあるので、S3ディスクをインスタンスにマウントするツールであるS3FSを使用することをお勧めします。これは、通常のファイルシステム(理論上は) 。 は、転送速度が(私のテストによると10メガバイト/秒)本当に遅いことを心に留めておくが、私はそれが

あなたのニーズに合うことを願っています:あなたはより多くの情報に

UPDATE 1を持つことができますので、ここにリンクがあります

http://tecadmin.net/mount-s3-bucket-centosrhel-ubuntu-using-s3fs/

関連する問題