distcp

0熱

1答えて

毎日1つのクラスタから別のクラスタにデータをコピーしようとしています。たくさん検索しましたが、誰もがDistCpの主な機能をargsで呼び出すことを提案しています。私は同じためにJavaコードをつかまえていました。しかし、私は何のエラーもありませんでした。コマンドラインのdistcpは正常に動作しています。ここで何をする必要がありますか？ public static void customDisc

0熱

2答えて

distcpの宛先ファイル名/場所を変更してください

hdfsのフォルダにいくつかのファイルがあり、その名前はhdfsのfilename.yyyy-mm-dd-hh.machinename.gzの形式です。私はこれらをs3に転送する必要がありますが、それらをyyyy/mm/dd/hh/filename.yyyy-mm-dd-hh.machinename.gz（s3はフラットな構造を持つのでオブジェクト名になります）に配置したい私が指定したバケット。