Googleストレージバケットを複製する最も速い方法は何ですか？

1つの10TBバケットがあり、できるだけ早くコピーを作成する必要があります。これを行う最速で最も効果的な方法は何ですか？Googleストレージバケットを複製する最も速い方法は何ですか？

2016-05-04 Misko

組み込みの転送サービスを見ましたか？ https://cloud.google.com/storage/transfer/ – jarmod

私はS3を試しましたが、gsからgsにコピーできるとは考えていませんでした。ありがとう – Misko

それが助けてくれることを願っています。将来の読者のための答えとして追加しました。 – jarmod

これは簡単にgsutilで実現できます。

gsutil -m cp -r gs://source-bucket gs://duplicate-bucket

Google Cloud Storage内で、同じ場所とストレージクラスを持つバケットにコピーしていますか？もしそうなら、この操作は非常に速くなければなりません。バケットの場所やストレージクラスが異なる場合、操作はより遅く（しかも高価になりますが）、これは最も速い方法です。あなたが同じ場所やストレージクラスに別のバケットにバケットをコピーしたいと仮定すると、

出典

2016-05-04 00:32:51

私はMike Schwartzの答えをupvoted。私が提案したコマンドは、コピーを開始する前にソースバケット内のすべてのオブジェクトを完全に列挙する必要がないため、やや高速になります。しかし、操作中に何かがうまくいかない場合（たとえば、一時的なネットワークの停止が発生した場合）、最初からコピーを開始する必要があります。 Mikeのコマンドは、ソースバケットの内容が変更された後に、後でソースバケットの送り先バケットを徐々に同期させるために再実行することもできます。 –

、あなたはGCEインスタンスでgsutilをrsyncを実行できます。

gsutil -m rsync -r -d -p gs:://source-bucket gs://dest-bucket

を使用すると、場所やストレージクラス間でコピーする場合上記のコマンドは引き続き動作しますが、その場合はデータ（メタデータだけでなく）をコピーする必要があるため、時間がかかります。

エラーが発生した場合は、結果の状態を確認してrsyncコマンドを再実行する必要があります。（rsyncコマンドを実行すると、すでにコピーされたオブジェクトは再コピーされません）。バケットが正常に完全にコピーされるまで、rsyncコマンドを繰り返す必要があります。

出典

2016-05-04 00:37:43

簡単な方法の1つは、GoogleのCloud Storage Transfer Serviceを使用することです。私はこれを確認していませんが、それはまた、最も速いかもしれません。

出典

2016-05-06 00:18:45 jarmod

Googleストレージバケットを複製する最も速い方法は何ですか？

答えて

関連する問題