2017-08-01 1 views
-3

ローカルスパーク設定でApache Beamのサンプルコードを実行しようとしています。私はソースを生成し、this pageで述べたようにパッケージを作りました。spark-submitを使用して送信するとApache Beamジョブがハングアップする

$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

コードが提出され、実行が開始されます。しかし、ステップEvaluating ParMultiDo(ExtractWords)で立ち往生します。以下はジョブを送信した後のログです。

エラーメッセージが見つかりません。誰かが間違ったことを見つけるのを助けてくれる?

編集:私はまた、コマンドの下

~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

ジョブは今INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)でスタックしているを使用してみました。下のSpark History &ダッシュボードのスクリーンショットを添付しました。ダッシュボードには、ジョブが実行中であることが示されていますが、進捗状況は表示されません。

enter image description here enter image description here

+0

Downvoters、何らかの理由はありますか? –

答えて

0

これは単なるバージョンの問題です。私はSpark 1.6.3でジョブを実行することができました。ちょうどダウンしたすべての人々が説明なしにこの質問に投票しました。

関連する問題