チェックポイントからの再起動後にスパークストリーミングタブが消える

Question

私はクラスタにスパークストリーミングジョブ（Spark 1.6）を実行しており、チェックポイントはS3になっています。最初に仕事を始めたら、「ストリーミング」タブが表示されます。しかし、チェックポイントからジョブを再開すると、[ストリーミング]タブは消えます。ジョブはまだストリーミングジョブとして機能し、設定されたバッチ間隔でバッチが表示されます。下記参照。

私はチェックポイントデータを消去すると、タブが戻ってきます。チェックポイントから再起動している間、[ストリーミング]タブが正しく登録されていないと思われます。

私はSpark Streaming codeを見ました。アプリケーションの状態がチェックポイントからデシリアライズされても、このフローは呼び出されない可能性がありますか？

誰でもこれを解決する方法を知っていますか？

Answer 1

私はチェックポイントデータを消去すると、タブが戻ってきます。 チェックポイントから再起動している間、[ストリーミング]タブが正しく登録されていない可能性があります。

これは呼び出されますが、ストリーミングタブはS3チェックポイントの場所からすべてのデータのロードが完了するまで表示されません。あなたの系統が長い場合は、ロードに時間がかかることがあります。すべてのデータがチェックポイントから復元されると、ストリーミングタブが表示されます。