Clouderaクイックスタートの下で色相にスパークノートを設定するには？

Question

私は最近、Hue UIでSpark Notebookをセットアップしようとしていました。私はVirtualBoxでCloudera CDH 5.8を実行しています。スパークノートはLivy Serverで動作し、livy serverをインストールしました。また、Hue.iniファイルからブラックリストからスパークを削除します。 しかし、私は色相UIでスパークノートを手に入れません。

更新：今ノートブックにアクセスできます。ただし、クラスターにスパークジョブを送信することはできません。いくつかのスクリプトだけを試しましたが、Hiveスクリプトは動作しますが、R、Pyspark、またはScalaスクリプトは動作しません。私は次のエラーに遭う。

誰かが問題を理解するのに手伝ってもらえますか？必要に応じてさらに情報を提供することができます。

ありがとうございます。

..... Romainrのおかげで、私はHueでSpark Notebookを走らせることができました。今私は、同じlocalhost上のClouderaマネージャーで実行されているApache sparkにジョブをサブミットするためにいくつかの問題に直面しています。エラーは次のスクリーンショットで公開されています。どんな助けでも大歓迎です。ありがとうございました。

Error: Spark session could not be created in cluster: timeout

"Session '-1' not found." (error 404)

Answer 1

あなたは色相からpySparkノートブックを実行する場合は、リソースにアクセスすることができないとして、それがタイムアウトを言います。 実際に、コマンドラインインターフェイスからコマンドpysparkまたはscalaを実行しようとすると、いくつかのエラーが表示されます。

Hue Notebookからタイムアウトエラーが発生した場合、ログを調べると、許可が拒否された問題が見つかります。 だから、アクセス権を与えるために、次のようにします。この後（Linuxのシェル上で実行）

$ sudo -u hdfs hadoop fs -chmod 777 /user/spark 
$ sudo -u spark hadoop fs -chmod 777 /user/spark/applicationHistory 

あなたはCDHで色相と火花サービスを再起動し、色相からpysparkやScalaのノートブックを作成しようとすると、それは外に実行する必要がありますボックス。 まだエラーが発生した場合は、お知らせください。