2016-07-22 9 views
0

データの一部の処理バッチではFlinkと評価されています。簡単な例として、scipyで提供される機能を使用してFIRフィルタを通過させたいと思う2000ポイントがあります。 scipyフィルタは、一連の係数とデータをフィルタリングして返す単純な関数です。 Flinkでこれを処理する変換を作成することは可能ですか? Flinkの変換はポイントベースで適用されているようですが、何か不足している可能性があります。Flinkバッチデータ処理

答えて

0

これは確かに可能です。 Flinkには既にPython API (beta)があります。

あなたの2番目の質問について:Flinkはポイントごとに機能を適用することができ、他のものも実行できます。それはあなたが定義している機能の何キンクに依存します。たとえば、filter,project,map,flatMapがレコードごとに適用されます。 max,min,reduceなどがレコードグループに適用されます(グループはgroupByで定義されています)。 join,cross、またはcogroupを使用して、異なるデータセットからのデータを結合することも可能です。ドキュメントで利用可能な変換のリストをご覧ください。https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html

関連する問題