私たちは現在バッチプロセスをスケーリングするためにSpringバッチ - リモートチャンクを使用しています。クラウドのデータフローを考えていますが、負荷に基づいてスレーブを動的にプロビジョニングできるかどうかを知りたいですか? Google Cloudにデプロイされているため、クラウドのデータフローが私たちのニーズに合致するかどうかに関わらず、kubernetesのSpring Cloudデータフローサポートも使用したいと考えていますか?Spring Cloudデータフローを使用して負荷に基づいてスレーブプロセスを動的にプロビジョニングできますか?
1
A
答えて
0
Spring Cloud Task(特にDeployerPartitionHandler
)のバッチ拡張を使用する場合、ワーカーは必要に応じて動的に起動されます。そのPartitionHandler
は、最大数のワーカーを設定することができます。そして、各パーティションをその最大までの独立したワーカーとして処理します(他のパーティションが完了すると残りのパーティションを処理します)。 「動的」な側面は実際にPartitioner
によって返されたパーティションの数によって制御されます。返されるパーティションが増えるほど、より多くのワーカーが立ち上げられます。
あなたはこのレポでCloudFoundryを使用するように構成された簡単な例を見ることができます:https://github.com/mminella/S3JDBCそれと何が必要だろうが、あなたがKubernetesTaskLauncher
ためCloudFoundryTaskLauncher
を交換したいと、それは適切な設定だということであるとの主な違いを。
関連する問題
- 1. Google Container Engine - HTTP負荷に基づいてインスタンスグループを自動スケールする方法
- 2. Spring Cloudのデータフローはバッチ処理をサポートしています
- 3. Spring Cloudデータフローのドキュメント
- 4. 負荷テストSpringリモートからLoadRunnerを使用してサービスレイヤー
- 5. Spring Cloudタスクを使用してスタンドアロンSpringバッチを動的にデプロイする方法
- 6. 複数のKafkaバインダーを使用したSpring Cloudデータフロー
- 7. URLに基づいてHTTPトラフィックを負荷分散する方法
- 8. フィクスチャパラメータIDに基づいてpytest.mark.skipifを使用できますか?
- 9. JQueryを使用してURLに基づいて動的IDを選択する
- 10. mapStateToPropsを使用して動的ルートパラメータに基づいてコンポーネントをレンダリングし、
- 11. メディアクエリを使用してビューポートに基づいて列を移動しますか?
- 12. 最初のドロップダウンに基づいてActive-adminを選択ドロップ依存の負荷
- 13. データに基づいて動的にディレクティブを選択します。
- 14. 値に基づいて動的にfadeInhtmlを返します
- 15. テキストフィールドに基づいてラジオボタンを動的に設定します。
- 16. $ uriに基づいてnginxで動的ルートパスを使用するには?
- 17. spring cloudのfeignで負荷分散ルールを調整するにはどうすればいいですか
- 18. GrailsでAjaxを使用して負荷データを試しています
- 19. ビジュアルスタジオでクラウド負荷テストを使用してセレンウェブテストを実行しています
- 20. KubernetesでのSpring Cloudデータフローの設定
- 21. リポジトリと作業単位:エンティティ無負荷外部キーの値に基づいて
- 22. 過負荷関数テンプレートパラメータ関数の引数の型に基づいて
- 23. Spring Boot - 他のプロパティに基づいてプロパティを自動構成しますか?
- 24. StructureMapは、タイプに基づいて汎用インスタンスを動的に解決します
- 25. spring cloudデータフローと基本クラウドファウンドリバージョンとの互換性
- 26. jqueryを使用してローカルストレージデータに基づいてHTMLディビジョンを動的に作成します
- 27. データベースクエリに基づいてメニューを動的に無効にしますか?
- 28. Tensorflowは自動的に我々が使用して、使用するGPUデバイスを指定最も負荷GPU
- 29. 動的負荷のコンテンツは、
- 30. WP自動ログインYii2から最初の負荷で動作していないCurlを使用して
私はメッセージングミドルウェアActiveMQを介してデータを送信しているので、現在はMessagingPartitionHandlerを使用しています。複数のパーティションハンドラを使用する必要があります。 –
いいえ。「DeployerPartitionHandler」は、ワーカーの起動とメタデータの提供を担当します。これは、ActiveMQで送信される値を渡すためにBootプロパティーを使用しているため、このアプローチを使用するときにメッセージングミドルウェアは必要ありません。 –