例Hueの仕事はコマンドラインからはできませんが、コマンドラインからは動作しません：SparkMain not

Question

Hue Oozieワークフローエディタで提供されているSparkワークフロー例（Spark Javaプログラムを起動してファイルをコピーします） Cloudera 5.5.1クイックスタートVM）。

私は今 oozieコマンドラインツールを使用して手動でそれを実行しようとしている

：

oozie job -oozie http://localhost:11000/oozie -config job.properties -run 

ワークフローXMLは基本的に変更されていません - 私はHDFSにそれをコピーして、次のjob.propertiesを持っています

nameNode=hdfs://localhost:8020 
jobTracker=localhost:8032 
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml 
input=/user/hue/oozie/workspaces/data/sonnets.txt 
output=here 

ジョブが受け入れられ、色相ウェブダッシュボードに表示されますが、数秒後にジョブが終了し、ログには次のようなレポートが表示されます。

ランチャー例外：java.lang.ClassNotFoundExceptionが：クラスorg.apache.oozie.action.hadoop.SparkMain

問題はここに何が

を見つけていませんか？

Answer 1

Oozieは、デフォルトでは、スパークアクション用のライブラリが含まれていません - あなたはjob.propertiesに以下を追加する必要があります。

oozie.use.system.libpath=true 

（色相ダッシュボードの前に成功した色相のワークフローをクリックすると、あなたを「構成」タブを選択して、Hueが提供しているプロパティーを表示できます）