Spark Streamingでは、バッチ処理が完了したことを検出する方法はありますか？

Question

私はCloudera 5.8.3でSpark 1.6.0を使用します。
私は

val stream = KafkaUtils.createDirectStream[...](...) 
val mappedStream = stream.transform { ... }.map { ... } 
mappedStream.foreachRDD { ... } 
mappedStream.foreachRDD { ... } 
mappedStream.map { ... }.foreachRDD { ... } 

が最後に実行することが保証されており、上記のforeachRDD sが実行を終了した場合にのみされ、最後のforeachRDDを登録する方法はあり、その上に定義された変換のDStream対象とたくさん持っていますか？
つまり、Spark UIにジョブが完了したことが表示されたとき、それが軽量関数を実行したいときです。

私はこれを実現するためのAPIがありますか？

おかげで

Answer 1

ストリーミングリスナーを使用すると、あなたのための問題を解決する必要があります：

を（申し訳ありません、それはJavaの例です）

ssc.addStreamingListener(new JobListener()); 

// ... 

class JobListener implements StreamingListener { 

@Override 
    public void onBatchCompleted(StreamingListenerBatchCompleted batchCompleted) { 

     System.out.println("Batch completed, Total delay :" + batchCompleted.batchInfo().totalDelay().get().toString() + " ms"); 

    } 

    /* 

    snipped other methods 

    */ 


} 

https://gist.github.com/akhld/b10dc491aad1a2007183

https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-streaming/spark-streaming-streaminglisteners.html

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.streaming.scheduler.StreamingListener