Apacheのスパークとメゾスが1つのノードで実行されています

私はMesosで動作するSparkのテストに興味があります。 VirtualBoxにHadoop 2.6.0のシングルノードクラスタを作成し、Sparkをインストールしました。 Sparkを使用してHDFSのファイルを正常に処理できます。Apacheのスパークとメゾスが1つのノードで実行されています

次に、同じノードにMesos MasterとSlaveをインストールしました。私はthese instructionsを使ってMesosのフレームワークとしてSparkを実行しようとしました。

WARN TaskSchedulerImpl：初期ジョブがリソースを受け入れませんでした。
は、労働者が登録されていることを確認するためにクラスタUIをチェックし、Sparkshellが正常にMesosフレームワークとして登録されている十分な資源

を持っています。単一ノード設定の使用に何か問題はありますか？ Sparkワーカーノードを追加する必要はありますか？

私はSparkの新機能です。Spark、HDFS、Mesosのテストだけです。

出典

2016-04-12 vathan Lal

：私の他の答えを見てみましょう。 –

私はすでにMesosと異なるフレームが動作するOpenStack Clusterを持っています。私は、hdfs内のファイルを処理するためにフレームワークを使用する共有環境のhdfsファイルシステムが必要です..今すぐiamはmesosのスパークをテストします.. –

いくつCPUとメモリをvirtualboxインスタンスに与えましたか？ – hbogert

スパークスレーブに十分なリソースを割り当てている場合は、ファイアウォールが通信をブロックしている可能性があります。あなたはHadoopのは、すでに糸が付属していたときに、火花のための最初の場所でMesosを使用したいのはなぜ

Apache Spark on Mesos: Initial job has not accepted any resources

出典

2017-12-08 03:00:44 Fontaine007

Apacheのスパークとメゾスが1つのノードで実行されています

答えて

関連する問題