distcp

1熱

1答えて

変更時間を保存して1つのクラスタから別のクラスタにHDFSファイルをコピーする方法

一部のHDFSファイルを運用クラスタから開発クラスタに移動する必要があります。私はHDFSファイル上のいくつかの操作を、ファイルの変更時間に基づいてdevクラスタに移動した後にテストする必要があります。 devでテストするには、日付が異なるファイルが必要です。 DISTCPでやってみましたが、変更時刻は現在の時刻で更新されています。私はここで見つけた多くのパラメータを使ってDistcpをチェックし

1熱

1答えて

保護されていないhdfsから保護されたhdfsクラスタへのファイルの転送

保護されていないHDFSクラスタからKerberos化されたクラスタにファイルを転送したかったのです。 distcpを使ってファイルを転送しています。私は次のコマンドを使用しました。 hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:80

0熱

1答えて

oozieのdistcpアクションで別のHDFSディレクトリからファイルをコピーする

私の行動 start_fair_usageは、私は、のいくつかを異なるファイルがたくさんある状況オーケーで終わるが、/user/comverse/data/${1}_Bでtest_copy戻り Main class [org.apache.oozie.action.hadoop.DistcpMain], main() threw exception, null 私は${NAME_NODE}/u

1熱

1答えて

ブロックレベルでHadoop Distcpをコピーしますか？

クラスタ間のDistcpは、Map-Reduceジョブです。私の前提は、入力分割レベルでファイルをコピーすることで、複数の "ピース"を並行して処理する複数のマッパーによってファイルがコピーされるため、コピーのパフォーマンスに役立ちます。しかし、私がHadoop Distcpのドキュメントを読むとき、Distcpはファイルレベルでしか動作しないようです。 hadoop.apache.org/do

0熱

1答えて

アクティブなDISTCPジョブをリストするにはどうすればいいですか？

アクティブなDISTCPジョブをリストするにはどうすればよいですか？私は2つのクラスタ間でdistcpジョブを実行しています。 hadoop distcp hdfs://x/y /x/y これを継続的に実行したいが、既存のdistcpタスクが完了していることを確認する必要があります。コピー元とコピー先の両方のクラスタで次のように試しましたが、コピー操作が表示されません。 mapred job

0熱

1答えて

o3ワークフローを使用してs3 serverside暗号化

私はs3バケットにデータを書き込むsqoopジョブを持っています。コマンドラインからこのジョブを実行すると、s3ファイルが暗号化されます。しかし、oozieワークフローを使ってsqoopジョブを実行するために同じjarファイルを使用すると、データはs3にプッシュされますが、暗号化は行われません。以下は、私の怠惰なワークフローです。 <java> <job-tracker>${jobT

0熱

1答えて

jsp servletからmapreduceジョブを実行しています

私は単純なjavaプログラムを持っています。これはdistcpをラップしてhadoopクラスタ上のファイルをコピーします。 IDEとhadoop cliの両方から正常に実行できます。自分のプログラムとやりとりするためにWebインターフェイスを使用できるように、私はjsp Webアプリケーションを使いたいと思っていました。すべての依存関係を持つfat jarファイルを作成し、Webアプリケーショ

0熱

1答えて

選択した列のHDFSクラスタ内コピー

Avroファイルを使用してHDFSにデータを格納しています。私は選択された列データを1つのavroファイルからコピーし、それを（選択された列情報を持つ）独自のスキーマファイルを持つ同じクラスタ内の別の場所に送信する必要があります。どうやってやるの？ Hiveを使用して実装することは可能ですか？それを手助けできるHDFSのユーティリティがありますか？これは、グループがテーブル全体にアクセスできる必

1熱

1答えて

distcpを2つのHdfsディレクトリ（別々のクラスタ）の間でdistcp（カンマ区切り）することは可能ですか？

x個のファイルをdistcpする必要があります。これを行う方法が見つかりませんでした。ひとつのアイデアは、一時ディレクトリにそれをコピーし、そのディレクトリdistcpすることです。完了したら私はその一時ディレクトリを削除することができます。個々のdistcpコマンド（各ファイル）。これは痛いかもしれません。カンマ区切りが許可されているかどうかわかりません。アイデア？ありがとうございま

1熱

1答えて

のHadoop discpの問題（注：私は並列性を得るためにdistcpを使用する必要があります）

焦がすファイルをコピー中にを私は2つの/ユーザーファイル/ bhaveshフォルダを持って、私は1を持っています/ユーザー/ bhavesh1フォルダ内のファイルのコピー2つのファイルから/ユーザー/ウダイフォルダへ/ユーザー/ bhavesh（この作品の罰金）これ/ユーザー/ bhavesh1からに/ユーザー/ウダイフォルダコピー1ファイルを作成/ユーザー/ uday1フォルダ場合は、