Flinkでタイムウィンドウストリーム内のユニークワードを数えるには？

Question

Flink Streamingを使用してタイムウィンドウストリーム内のユニークワードの数を数える方法はありますか？私はthis質問を参照してくださいが、私は時間ウィンドウを実装する方法を知らない。

Answer 1

もちろん、それはかなり簡単です。各タイムウィンドウの間にすべての入力レコードに集約が必要な場合は、windowAll（）のフレーバーの1つを使用する必要があります。つまり、キーストリームを使用せず、並行して操作することはできません。

tumbling windowsまたはsliding windowsを入力し、event time or processing timeで操作するかどうかを決定する必要があります。

しかし、大まかに言えば、あなたはこのような何かやる：あなたのUniqueWordCounterは、ウィンドウ内のすべての単語の反復可能なを受け、ユニークな単語の数を返しますWindowFunctionなります

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
env.addSource(...) 
    .timeWindowAll(Time.minutes(15)) 
    .apply(new UniqueWordCounter()) 
    .print() 
env.execute() 

を。一方

、あなたがkeyedstreamを使用し、各キーのユニークワードをカウントしたい、それに応じてアプリケーションを変更している場合：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
env.addSource(...) 
    .keyBy(...) 
    .timeWindow(Time.minutes(15)) 
    .apply(new UniqueWordCounter()) 
    .print() 
env.execute()