2016-06-30 5 views
0

DataSet<Tuple2<Integer, Point>>をtuple2の整数値に従ってn個のDataSetsに分割したいと思います。flinkデータセットをキーで複数に分割し、別々のファイルに書き込む

現在、私は基本的にデータセットをn回フィルタリングし、各結果を別々のファイルに保存しています。私はより良い、より多様な方法を持っていることを好むでしょう。また、これはフリンク能力を利用していないようです。

詳細情報が必要な場合はお知らせください。

答えて

0

データセットを分割する通常の方法、ここで説明したように、入力データセットにフィルタを使用するようにされています。私の知る限りでは、分割の仕事をするだろう何のオペレータは、ありません

Dataset split/demultiplex in Flink mailing list

あなたがそれをしたいと思うように。答えで述べたように、 "オーバーヘッドは合理的であるべきです。データは同じノード にとどまり、フィルタは非常に軽量になります。"

関連する問題