スパークヒストリーサーバーが起動していません

Question

私の3ノードクラスタにCDH 5.4.7をインストールしました。 Sparkで最初のジョブを実行した後、アプリケーションの履歴ページを確認しました。それは、私がHDFSをチェックし/user/spark/applicationHistoryがすでにあったことが判明

Event log directory: hdfs://****:8020/user/spark/applicationHistory 

No completed applications found! 

Did you specify the correct logging directory? Please verify your setting of 
spark.history.fs.logDirectory and whether you have the permissions to access 
it. It is also possible that your application did not run to completion or 
did not stop the SparkContext. 

次のように書かれていました。しかし、そのディレクトリ内にはエントリがありませんでした。これは、ログが書き込まれていないことを意味します。私は、Clouderaのドキュメントページを検索し、私はスパーク履歴サーバを追加し、それを開始している説明したように、次のリンク

Managing Spark History Server

上の記事Managing the Spark History Serverを見つけました。私のユーザー

$ sudo -u hdfs hadoop fs -chown -R spark:spark /user/spark 
$ sudo -u hdfs hadoop fs -chmod 1777 /user/spark/applicationHistory 

ための次の2つのコマンドを実行し、私は次のコマンドを実行しようとしたときにしかし、それはそうno such file or directoryエラー

$ cp /etc/spark/conf/spark-defaults.conf.template /etc/spark/conf/spark-defaults.conf 

を与え、私はパス/etc/sparkに行って、その中のファイルをリストされています。これは、この

conf -> /etc/alternatives/spark-conf 

のようなものを示さなかったどちらも、それがすでにあるも、私はまたservice spark-history-server startコマンドはunrecognized serviceエラーを与える/etc/spark/conf

にディレクトリを変更することができますので、私はconfという名前のディレクトリを作成することができます。

親切に助けてください！事前のおかげで

Answer 1

私はステップの下に、以下のことにより、ClouderaのクイックスタートVM 5.12画像や問題を整理することができで、同じ問題に直面していた。

• 停止履歴サーバ：

$ sudoのサービス火花履歴サーバ停止ownersh設定し

• HDFSで、次のように/ユーザー/火花/ applicationHistory /ディレクトリ上のIPとパーミッション：

$ sudoを-u HDFSのHadoop FS -chown -Rスパーク：スパーク/ユーザー/火花

$ sudoを-uは-chmod 1777 /ユーザー/火花/ applicationHistory

• がイベントをログに記録するファイルを/etc/spark/conf/spark-defaults.confする行の下に追加のHadoop FSをHDFS：

spark.eventLog.enabled =真

spark.eventLog.dir = HDFS

：//クイックスタート。Clouderaの：8020 /ユーザー/火花/ applicationHistory

• は、Spark履歴サーバに直接YARNのResourceManagerをリンクするファイルを/etc/spark/conf/spark-defaults.confする行の下に追加します。

を

spark.yarn.historyServer.address = http://quickstart.cloudera:18088

• スタート履歴Serverは：

$ sudoのサービス火花履歴サーバは、それが他の人に有用であることを

希望を開始します。