ローカルスパーク設定でApache Beamのサンプルコードを実行しようとしています。私はソースを生成し、this pageで述べたようにパッケージを作りました。spark-submitを使用して送信するとApache Beamジョブがハングアップする
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
コードが提出され、実行が開始されます。しかし、ステップEvaluating ParMultiDo(ExtractWords)
で立ち往生します。以下はジョブを送信した後のログです。
エラーメッセージが見つかりません。誰かが間違ったことを見つけるのを助けてくれる?
編集:私はまた、コマンドの下
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
ジョブは今INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)
でスタックしているを使用してみました。下のSpark History &ダッシュボードのスクリーンショットを添付しました。ダッシュボードには、ジョブが実行中であることが示されていますが、進捗状況は表示されません。
Downvoters、何らかの理由はありますか? –