2016-10-18 3 views
1

私はS3の中程度のサイズのファイルを持っています(私はEMRから入手しました)。そして、それぞれの行には別のバケットに入れたいキーとオブジェクトがあります。S3を分割して別のバケットに入れてください

データパイプラインを使用してこれを実装する方法はありますか?

答えて

0

このデータを別のs3バケットにコピーするだけの場合は、データパイプラインでCopyActivityを使用してこれを行うことができます。あなたのパイプラインは、CopyDataと出力S3DataNodeへの入力としてS3DataNodeを持ちます。 AWSデータパイプラインコンソールで使用できるテンプレートの1つを試してみて、上で述べたオブジェクトを持つようにパイプラインを編集します。

+0

ファイルをコピーしたくないのですが、ファイルを1行ずつ分割して別々のバケットに入れたいと思います。 eの場合、g:最初のファイルに1000行ある場合は、1000個のアイテムを別々のバケットに入れます。 –

関連する問題