SparkのスタンドアロンモードのWeb UIでアプリケーションの実行情報を詳細に見ることができますが、糸になると消えてしまいます。だから、ジョブが糸で走っているときの実行情報はどこで確認できますか?糸のSparkジョブのアプリケーション実行監視
0
A
答えて
0
debug your applicationでも構いませんが、それ専用のUIはありません。
1
あなたは糸と火花履歴サーバを設定し、その後、
spark.eventLog.enabled true
spark.eventLog.dir hdfs://LOCATION/TO/SPARK/EVENT/LOG
spark.yarn.historyServer.address SPARK_HISTORY_SERVER_HOST
spark.history.ui.port SPARK_HISTORY_SERVER_PORT
spark.yarn.services org.apache.spark.deploy.yarn.history.YarnHistoryService
spark.history.fs.logDirectory hdfs://LOCATION/TO/SPARK/EVENT/LOG
を次のプロパティを追加して、火花履歴サーバを起動し、あなたのspark-defaults.conf
ファイルに
、それを起動する必要があります。
$/PATH/TO/SPARK/sbin/start-history-server.sh
PS私はSparkがすでにhadoop/yarnで設定されていると仮定しています(したがって、spark-env.shで設定ファイルの場所を設定しています)。
関連する問題
- 1. 糸 - 複数のジョブのspark-submit
- 2. kubernetesジョブの監視
- 3. Spark:クラスタモードアプリケーションの監視
- 4. ハドソンでの外部ジョブの監視
- 5. ジョブのジエント例外の監視
- 6. Java監視アプリケーション
- 7. 現在実行中のアプリケーションを監視する
- 8. クラスタ内でジョブを実行および監視するためのツール
- 9. perlのスクリプト実行の監視ツール
- 10. phpスクリプトの実行を監視
- 11. 長期実行PL/SQLブロックの監視
- 12. Javaの同時実行 - 監視スレッド
- 13. Zabbixのアプリケーションの監視
- 14. JavaEEアプリケーションの監視ツール
- 15. .NETアプリケーションのパフォーマンス監視/メトリック
- 16. Androidアプリケーションのパフォーマンス監視ツール
- 17. Googleアプリケーションエンジンのアプリケーション監視Java
- 18. Silverlight 2.0アプリケーションのパフォーマンス監視
- 19. Delphiアプリケーションで実行されるSQLクエリを監視する
- 20. フレックス:コードをステップ実行中にアプリケーションを監視できない
- 21. 外部cronジョブを監視するJenkins
- 22. 糸クラスターでapache spark 1.1.0を実行できますか?
- 23. eclipseからscalaを使用した糸クライアントへのsparkジョブの送信
- 24. Windows CE用シリアルポート監視アプリケーション?
- 25. 糸クラスターモードのSparkアプリケーションで時間がかかっています
- 26. Shinyのアプリケーション負荷で監視を実行しないようにする
- 27. サービスからのアプリケーションの監視
- 28. プロダクションWebベースのアプリケーションの監視
- 29. websphereでのアプリケーション状態の監視
- 30. Spring RESTfulサービスからのSparkジョブの実行
また、完成したアプリケーションのUIをSparkの履歴サーバ http:// spark.apache.org/docs/latest/monitoring.html#viewing-after-the-fact – RoyaumeIX
はい、実行履歴をこのように表示することができます。私はこの問題を把握しようとしています。 –