Cloudera Docker ContainerでMapReduceプログラム/ジョブを実行する方法については、いくつかの助けが必要です。
私はLinux(ElementaryOS)高設定を使用しています。ラップトップ(24GB RAM、i7プロセッサ)。
Clouderaドッカーのイメージをインストールして実行しましたが、問題なく次も実行しました:1.#プロンプトが表示され、何も返されませんが、HDFSコマンド(hadoop fs -ls)を実行します。
2.色相エディタにアクセスすることができます
3. Clouderaマネージャを実行し、すべてのサービス(すべて)を開始することができます。
4.私のローカル環境では、WordCount MapReduceプログラム(jar)を作成し、このプログラムのすべてのMaven依存関係をダウンロードできました(ドッカーコンテナ内ではありません)。
今質問:
このWordCount JARを実行中のDocker Containerに送信するにはどうすればいいですか?
アップロードされたテキストファイル(HDFS)でこのMapReduceプログラム/ジョブ(WordCount)を実行するにはどうすればよいですか?
Clouderaクイックスタートドッカーコンテナを使用してMapReduceジョブ/ JARを実行する方法
1
A
答えて
1
8888ポートのポートマッピングでコンテナを起動すると、ファイルブラウザを含むHueにアクセスできます。したがって、HDFSファイルを簡単にクラスタに入れることができます。
Clouderaがコンテナ内にボリュームを提供していないため(少なくともここでは文書化されていない:http://www.cloudera.com/documentation/enterprise/latest/topics/quickstart_docker_container.html)、マップ/リダクションジョブを起動するには、コンテナ内に自分のjarファイルをコピーする必要があります。 scpで追加してみることもできます。
私は自分でいくつかのclouderaコンテナを作成します。ノードタイプ(masternode、datanode、edgenode)で1つのコンテナを提供し、私はedgenodeでボリュームを追加します。私のコンテナはドッカーハブにあります:https://hub.docker.com/r/loicmathieu/cloudera-cdh-edgenode/
関連する問題
- 1. jarファイルを使用してoozieでhadoopジョブを実行する
- 2. AWS資格情報の設定 - Clouderaクイックスタートドッカーコンテナ
- 3. ハイブをmapreduceジョブを同時に実行させる方法は?
- 4. Cloudera Hive:実行エラー、org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduceからコード2を返します。
- 5. cronジョブを使用してPHPファイルを実行する方法
- 6. target/... jarを使用してscalaオブジェクトを実行する方法?
- 7. googleアプリケーションエンジンでmapreduceジョブを実行中
- 8. 複数のMapReduceジョブをhadoopで実行しています
- 9. OozieでMapReduceジョブを実行しています
- 10. のHadoopのMapReduceは、今私はのHadoopのMapReduceジョブを実行
- 11. HDInsightエミュレータ - C#実行ファイルに基づいてMapReduceジョブをローカルで実行する方法
- 12. Hectorを使用してCassandraデータにmapreduceを実行する
- 13. EC2でmapreduceジョブを実行しているときにファイル名を取得する方法は?
- 14. ワードカウントを実行中にInterruptedExceptionが発生しましたmapreduceジョブ
- 15. MapReduceジョブのセレンをHadoopに使用していますか?
- 16. のHBaseのMapReduceジョブを実行すると、HBaseConfigurationのNoClassDefFoundError例外
- 17. HDFSの中にあるMapReduce JARファイルを実行するには?
- 18. ハイドープでMapReduceジョブを実行しているときにコンソールで印刷する方法
- 19. Jenkinsでジョブを並行して実行する方法
- 20. appleスクリプト/シェルスクリプトを使用して特定のアイコンを使用してjarファイルを実行する方法
- 21. Windowsクライアントからmapreduceジョブを実行しているときのエラー
- 22. PLINQを使用してC#でMapReduceを実装する方法は?
- 23. マッパなしのMapReduceジョブ
- 24. clouderaでHueのjarファイルを追加する方法は?
- 25. MAPREDUCEジョブの実行中にsqoopのインポートがハングアップする
- 26. 実行可能なjarを使用してスプリングスケジュールされたタスクを実行する方法
- 27. mongoがインストールされていないマシンでMongo mapreduceジョブを実行する
- 28. 別のjarを使用するjarを実行するには
- 29. JenkinsのジョブとしてPowerShellスクリプトを実行する方法
- 30. ストアド・プロシージャをSiebelサーバー・ジョブとして実行する方法
ありがとうございます。私はscpがこのコンテナにJARをコピーしてジョブを実行するオプションだと思う。 – Srikanth