バッチ間隔の時間を取得する

Question

私は現在のバッチ間隔の時間を取得する必要があります...これを行うには？..私は時間がどのように調整されているか知りたかった。クラスターのドライバーのマシンの時間に基づいて調整？

Answer 1

私が正しく理解している場合、あなたは、たとえばStreamingContext

を作成するときに、あなたのスパークストリーミングアプリのバッチ間隔を指定する必要があります。この上記のコードで

val ssc = new StreamingContext(sparkConf, Seconds(2)) 

を、2秒ごとにあなたのスパークストリーミングジョブは、入力ソース（kafka、ファイルなど）からデータを取り出します