hadoopクラスタでmapreduce javaプログラムを実行しています

Question

私はhadoopクラスタで作業することを学んでいます。私はhadoop streamingでperl/pythonのmap-reduceスクリプトをコーディングして仕事をしていました。 しかし、私はJavaマップの削減ジョブを実行するための良い説明が見つかりませんでした。たとえば ：私は誰かがどのように私は実際にこのプログラムをコンパイルし、ジョブを実行するものを教えてもらえますプログ

http://www.infosci.cornell.edu/hadoop/wordcount.html

次いる 。

Answer 1

コンパイルされたクラスを保持するディレクトリを作成します。

ます。mkdir WordCount_classes

あなたのクラスをコンパイルします。

のjavac $ {HADOOP_HOME}/Hadoopの-classpath - $ {HADOOP_VERSION } -core.jar -d WordCount_classes WordCount.java

あなたのコンパイルされたクラスからjarファイルを作成します。

のjar -cvf $ HOME /コード/ Hadoopの/ WordCount.jar -C WordCount_classes /を。

次のように自分の仕事を実行し、あなたの入力のためのディレクトリを作成し、そこにすべての入力ファイルをコピーします。

ビン/ Hadoopのジャーの$ HOME /コードを/ WordCount.jar WORDCOUNT $ {inputDirの} $ {OUTPUTDIR}

ジョブの出力は、$ {OUTPUTDIR}ディレクトリに格納されます。このディレクトリはHadoopジョブによって作成されるため、ジョブを実行する前に存在しないことを確認してください。

詳細については、hereを参照してください。