1

Cloudera Docker ContainerでMapReduceプログラム/ジョブを実行する方法については、いくつかの助けが必要です。
私はLinux(ElementaryOS)高設定を使用しています。ラップトップ(24GB RAM、i7プロセッサ)。
Clouderaドッカーのイメージをインストールして実行しましたが、問題なく次も実行しました:1.#プロンプトが表示され、何も返されませんが、HDFSコマンド(hadoop fs -ls)を実行します。
2.色相エディタにアクセスすることができます
3. Clouderaマネージャを実行し、すべてのサービス(すべて)を開始することができます。
4.私のローカル環境では、WordCount MapReduceプログラム(jar)を作成し、このプログラムのすべてのMaven依存関係をダウンロードできました(ドッカーコンテナ内ではありません)。
今質問:
このWordCount JARを実行中のDocker Containerに送信するにはどうすればいいですか?
アップロードされたテキストファイル(HDFS)でこのMapReduceプログラム/ジョブ(WordCount)を実行するにはどうすればよいですか?
Clouderaクイックスタートドッカーコンテナを使用してMapReduceジョブ/ JARを実行する方法

答えて

1

8888ポートのポートマッピングでコンテナを起動すると、ファイルブラウザを含むHueにアクセスできます。したがって、HDFSファイルを簡単にクラスタに入れることができます。

Clouderaがコンテナ内にボリュームを提供していないため(少なくともここでは文書化されていない:http://www.cloudera.com/documentation/enterprise/latest/topics/quickstart_docker_container.html)、マップ/リダクションジョブを起動するには、コンテナ内に自分のjarファイルをコピーする必要があります。 scpで追加してみることもできます。

私は自分でいくつかのclouderaコンテナを作成します。ノードタイプ(masternode、datanode、edgenode)で1つのコンテナを提供し、私はedgenodeでボリュームを追加します。私のコンテナはドッカーハブにあります:https://hub.docker.com/r/loicmathieu/cloudera-cdh-edgenode/

+0

ありがとうございます。私はscpがこのコンテナにJARをコピーしてジョブを実行するオプションだと思う。 – Srikanth

関連する問題