FlinkでのGroupCombineの使用例

Question

Apache FlinkのGrouped DatasetのGroupCombineの実用的な使用例をいくつか挙げてください。

参考：https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/batch/dataset_transformations.html#groupcombine-on-a-grouped-dataset

Answer 1

GroupCombineは、最適化の目的のために使用されます。 GroupReduceとは異なり、データのシャッフルは行わず、個々のパーティションでのみ動作します。これは、次に送信されるデータを減らして、次に操作を減らすのに役立ちます。簡単に言うと、Local Reduce操作です。

HadoopのMap Reduce関数に精通していれば、そこにもコンバイナ操作があります。 FlinkのこのGroupCombineは、まったく同じように動作します。

以下は、HadoopのCombinerを視覚的に表したものです。

は、この情報がお役に立てば幸い！