Apache FlinkのDataSetに対する非同期I/O

FlinkのDataSetでの非同期I/Oと同等の機能は何ですか？ については、データストリームは基本的にです。AsyncDataStreamです。Apache FlinkのDataSetに対する非同期I/O

マップ機能でブロックコールを実行していますか？

ベストプラクティスはありますか？

2017-02-23 Jay

私は毎分HTTP GETコールを行い、結果を処理する必要がある20Kリモートストリームを持っています。私の最初のアイデアは、すべてのストリームをマップしてHTTPコールを作成することでした。しかし、地図呼び出しがブロックされているので、これはあまり意味がありません。クラスタ内の複数のワーカーを使用できるようにマップコールを並列にしたい – Jay

私はRichMapPartitionFunctionを実装していました。入力側のイテレータと結果を出力するコレクタを提供しています。

MapPartitionFunctionは非同期ツールを提供していませんが、DataSet APIはチェックポイントメカニズムと統合してレコードとタイムスタンプの順序を尊重する必要はありません。

出典

2017-02-23 15:38:48

クラスタ内の他のワーカーでRichMapPartitionFunctionを並列に実行できますか？ – Jay

はい、Flinkは各パーティションを別々の 'mapPartition（）'関数呼び出しにストリームします。すべてのパーティションは並行して同時に処理されます。 –

Apache FlinkのDataSetに対する非同期I/O

答えて

関連する問題