hadoopクラスタにapacheスパーククラスタをインストールしようとしています。hadoopクラスタにスパーククラスタをインストールする
私はこの点で最高のプラクティスを探しています。私は、スパークマスターは、hadoopの名前ノードと同じマシンにインストールする必要があり、ハープのデータノードのスパークスレーブをインストールする必要があると仮定しています。また、どこにスカラをインストールする必要がありますか？お知らせ下さい。
Hadoopクラスタを実行している場合、YARNはアプリケーションを提出するために糸モードを使用します。これは、Apache Sparkディストリビューションをクライアントマシンにダウンロードするだけでなく、何もインストールする必要がない、最も簡単な方法です。 SparkサブアセンブリをHDFSにデプロイすることで、JARがノードにキャッシュされるようにspark-submitを呼び出すときにspark.yarn.jar設定を使用できるようになります。
すべての詳細はこちらをご覧ください：http://spark.apache.org/docs/latest/running-on-yarn.html
がいいですね、私は最新のスパークバイナリディストリビューションを解凍した、このコマンド/opt/spark-1.6.1/sbin/start-all.shを走ったが、取得していますエラー： –
/opt/spark-1.6.1/assembly/target/scala-2.10でSparkアセンブリを見つけることができませんでした。 test205：このプログラムを実行する前にSparkをビルドする必要があります。 –
私は今起きています：test205：org.apache.spark.deploy.worker.Workerの起動に失敗しました：スレーブのログファイルに表示されます：[hadoop @ test205〜] $ tail -f /opt/spark-1.6.1-bin- without-hadoop/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-test205.kartikv.com.out at java.lang.Class.getMethod0（Class.java:3018） at javaジャワ：sun.launcher.LauncherHelper.checkAndLoadMain（LauncherHelper.java:526） でsun.launcher.LauncherHelper.validateMainClass（LauncherHelper.java:544） で.lang.Class.getMethod（Class.java:1784） に起因.lang.ClassNotFoundException：org.slf4j.Logger –