停止時間なしでSpark-Streamingで生産を変更するにはどのようなプロセスがありますか?生産へのSpark-Streamingへの変更を導入するプロセス
答えて
アプリケーションコードのアップグレードをお探しの場合は、spark-streamingのドキュメントを参照してください。新しいアプリケーション・コードをアップグレードする必要が ランニングスパークストリーミングアプリケーション場合はアプリケーションコードのアップグレード
、2つの の可能なメカニズムがあります。
アップグレードされたSpark Streamingアプリケーションは、既存のアプリケーションと並行して起動され、 で実行されます。新しいもの(古いものと同じデータを で受信)がウォームアップされ、素数の準備が整ったら、古いものを取り除くことができます。これは、 の2つの宛先(以前のアプリケーションとアップグレードされたアプリケーション)へのデータ送信をサポートするデータソースに対して実行できます。受信したデータを確実に
既存のアプリケーションが正常にシャットダウンされるが( グレースフルシャットダウンオプションの StreamingContext.stop(...)またはJavaStreamingContext.stop(...)を参照)を完全にシャットダウンする前に処理 です。アップグレードされたアプリケーション を起動することができます。これにより、先のアプリケーションが終了したのと同じポイントから処理が開始されます。 これは、元のアプリケーションが ダウンし、アップグレードされたアプリケーションがまだ起動していない間にデータをバッファリングする必要があるため、ソースサイドのバッファリング(Kafka、 Flumeなど)をサポートする入力ソース でのみ実行できます。また、アップグレード前のコードのチェックポイント情報を より早く再起動することはできません。 チェックポイント情報には、本質的にシリアル化された Scala/Java/Pythonオブジェクトが含まれており、新しいクラス でオブジェクトを逆シリアル化しようとするとエラーが発生する可能性があります。この場合、別のチェックポイントディレクトリを使用して アップグレードしたアプリケーションを起動するか、前のチェックポイントディレクトリ を削除してください。
https://spark.apache.org/docs/latest/streaming-programming-guide.html
- 1. Windowsサービスアプリケーションへの更新の導入
- 2. スマートデバイスへのアプリケーションの導入
- 3. JDK 1.8へのクロージャの導入 - プロジェクトラムダ
- 4. 問題Herokuへのレールアプリの導入
- 5. デジタルオーシャンへのjhipsterアプリケーションの導入
- 6. Windows Phone 7へのアプリケーションの導入
- 7. Capistrano導入時の環境変数へのアクセス方法は?
- 8. 生産移行へのDotnetnuke開発
- 9. 生産データベースへのフライウェイ統合
- 10. Azure WebServicesの導入理由を変更
- 11. 計算機への電力関数の導入
- 12. 共有ホスティングへの(php/mysql)導入のベストプラクティス?
- 13. アドホックへの変更
- 14. トラベリングセールスマンへの変更
- 15. ヒートマップへの変更
- 16. RDDへの外部プロセスへのファイルへのRDDへの外部ファイルへのファイル
- 17. Deviseパスワードのリセットリンク生産にのみホームページへのリダイレクト
- 18. 外部プロセスへの入力をサニタイズする
- 19. DOMコンテンツの変更後にisrollを導入する
- 20. SSDTプロジェクトからSQLデータベースの変更を導入する
- 21. 自家生産環境での流星設定へのアクセス
- 22. エンティティフレームワークのコードから開発から生産への移行
- 23. 生産中のDockerへの段階的移行
- 24. DBへの変更をマイグレーション
- 25. プロキシへのバインディングを変更する
- 26. CAKEPHP - ウェブルートへのデフォルトパスを変更する
- 27. ミラーリポジトリへの変更をコミットする
- 28. 変数へのテキストボックス入力
- 29. 特定ディレクトリへの変更に関するGithookへのメッセージ
- 30. 停止サイトm.site.comへの誘導から