0
私はKafkaからmsgを読み込んで何らかの処理を行うSparkアプリケーションを継続して実行しています。集約された「アプリケーションログ」を取得する方法はありますか？Sparkアプリケーションの実行から集約ログを取得する方法
AFAIK、ログ集計は、SparkContextが破棄された場合にのみ発生します。
A
答えて
0
ログ用に標準のYARNコマンドを試しましたか？
ヤーンログ-applicationId some-id
関連する問題
- 1. 実行時にspark-submitからCSVシンクメトリックファイルを取得する
- 2. IISログの集約
- 3. JSONログからの集計メトリックをapache sparkで作成する
- 4. JavaでSparkを使用してElasticsearchインデックスで集約を実行
- 5. Sparkで複数の列を一度に集約する方法
- 6. AngularJSアプリケーションで計算集約型タスクを実行する方法は？
- 7. VFP DBのSQLクエリ：別のグループと集約に対応する行からデータを取得する方法
- 8. tomcat7でgenexusアプリケーションの作業ログを取得する方法
- 9. 実行中のアプリケーションの名前を取得する方法は？
- 10. Sparkアプリケーションがクラッシュした後、Spark ExecutorログをYarnに保持する方法
- 11. 実行中のアプリケーションからデータを読み取る方法
- 12. org.springframework.data.elasticsearch.core.FacetedPageで集約を得る方法
- 13. 実行中のJVMからヒープダンプを取得する方法
- 14. spark-perf実行時にSparkUncaughtExceptionHandlerを取得
- 15. ブラックベリーウェブワークのログを取得する方法
- 16. Spark DataFramesのargmax：最大値の行を取得する方法
- 17. Symfony Consoleアプリケーションでクラスからログを取る方法
- 18. Cumulocityから集約データを取得する
- 19. spark-shellを実行する前にspark-env.shを編集する正しい方法は何ですか？
- 20. タイマ実行アプリケーションを取得する方法
- 21. バックグラウンドページから実行中のChromeアプリケーションを取得する
- 22. ログから実行時間を分析する方法は？
- 23. エコーを無視してコマンド実行ログを取得する方法
- 24. 実行されたバッチファイルから値を取得する方法
- 25. Eclipse pydevから実行終了を取得する方法は？
- 26. 実行時にGrid.Rowからコントロールを取得する方法？
- 27. 私のアプリケーションからFacebookアプリケーションを実行する方法
- 28. Macアプリケーションの実行方法Javaから？
- 29. 実行ファイルを実行するドッカーイメージを取得する方法
- 30. Spark GraphXアプリケーションの実行時間の測定方法は？
YARNで実行していますか？あなたはYARNのログをしたいですか？ –
はいArun。ここに私のコマンドはありますか？/ usr/bin/spark-submit - マスター糸 - デプロイモードクライアント - supervise - ドライバメモリ20G - エグゼキュータメモリ20G - ドライバクラスパス=/home/jvadisela /spark/guava-18.0.jar:/home/jay/spark/jackson-core-2.4.5.jar --class com.collective.datarollup.entry.Startup /home/jay/spark/Test-0.0.1- SNAPSHOT-jar-with-dependencies.jar –
はストリーミングアプリケーションですか？ –