1
私はS3の中程度のサイズのファイルを持っています(私はEMRから入手しました)。そして、それぞれの行には別のバケットに入れたいキーとオブジェクトがあります。S3を分割して別のバケットに入れてください
データパイプラインを使用してこれを実装する方法はありますか?
私はS3の中程度のサイズのファイルを持っています(私はEMRから入手しました)。そして、それぞれの行には別のバケットに入れたいキーとオブジェクトがあります。S3を分割して別のバケットに入れてください
データパイプラインを使用してこれを実装する方法はありますか?
このデータを別のs3バケットにコピーするだけの場合は、データパイプラインでCopyActivityを使用してこれを行うことができます。あなたのパイプラインは、CopyDataと出力S3DataNodeへの入力としてS3DataNodeを持ちます。 AWSデータパイプラインコンソールで使用できるテンプレートの1つを試してみて、上で述べたオブジェクトを持つようにパイプラインを編集します。
ファイルをコピーしたくないのですが、ファイルを1行ずつ分割して別々のバケットに入れたいと思います。 eの場合、g:最初のファイルに1000行ある場合は、1000個のアイテムを別々のバケットに入れます。 –