2016-06-13 7 views
0

ストリーミングコンテキストの停止後にバッチ計算を実行したいと思います。 (strContext.stop(true、true)Sparkコンテキストとストリーミングコンテキストの組み合わせ

ストリーミングコンテキストが停止すると、関連するスパークコンテキストが停止し、実際にはスパークリスナーバスに関するエラーが発生していると思います。 (偽真)strContext.stopへの呼び出しスパークコンテキストの実行の停止の原因となります。

誰がストリーミングした後、バッチ計算の例を提供することができますか?

+0

あなたが役に立たないことの例を教えてください。 – maasg

答えて

1
def stop(stopSparkContext: Boolean, stopGracefully: Boolean): Unit = { 
    ... 
    if (stopSparkContext) sc.stop() 
} 

上記のコードから、 、spark strContext.stop(false)を渡すとContextを停止しないでください。

コードの中でどこか他の部分を停止していますか?ここにコードを貼り付けることはできますか?

関連する問題