定期的にフリンクのバッチ処理をスケジュールする方法

Question

私は、データベースからテーブルを照会し、それをカフカのトピックにフィードして取得したバッチのフリンクバッチ処理を行うJavaアプリケーションを持っています。どうすればこれを定期的に予定していますか？フリンクスケジューラはありますか？たとえば、私のJavaアプリケーションはバックグラウンドで実行し続けなければならず、フリンクスケジューラはデータベースからテーブルを定期的に照会してバッチプロセスをフリップしてkafkaにフィードする必要があります（バッチ処理とkafkaへのフィードはアプリケーションの一部です）。もし誰かがこれについての指針を持っているなら、助けてください。

Answer 1

Flinkはジョブスケジューラを提供しません。

継続的に動作するFlink DataStreamアプリケーションでユースケースを実装することを検討しましたか？定期的にデータベースに照会するSourceFunctionを実装できます。

連続ストリーミングアプリケーションは、（スケジューラなし、何かがうまくいかない場合の障害処理なし）、「バッチ」の境界を越えた一貫したビューの利点があります。欠点は、ジョブが常にリソースを消費していることです（Flinkは低負荷で自動的に縮小できません）。