データの一部の処理バッチではFlinkと評価されています。簡単な例として、scipyで提供される機能を使用してFIRフィルタを通過させたいと思う2000ポイントがあります。 scipyフィルタは、一連の係数とデータをフィルタリングして返す単純な関数です。 Flinkでこれを処理する変換を作成することは可能ですか? Flinkの変換はポイントベースで適用されているようですが、何か不足している可能性があります。Flinkバッチデータ処理
0
A
答えて
0
これは確かに可能です。 Flinkには既にPython API (beta)があります。
あなたの2番目の質問について:Flinkはポイントごとに機能を適用することができ、他のものも実行できます。それはあなたが定義している機能の何キンクに依存します。たとえば、filter
,project
,map
,flatMap
がレコードごとに適用されます。 max
,min
,reduce
などがレコードグループに適用されます(グループはgroupBy
で定義されています)。 join
,cross
、またはcogroup
を使用して、異なるデータセットからのデータを結合することも可能です。ドキュメントで利用可能な変換のリストをご覧ください。https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/batch/dataset_transformations.html
関連する問題
- 1. スパークストリーミングでは、前のバッチデータの処理が完了してから、次のバッチデータを処理できますか?
- 2. Apache Flinkを使用したXML処理
- 3. Apache Flink:バックプレッシャーはどのように処理されますか?
- 4. FLINKストリーミングプログラムは、処理時間と正しく動作しますが、
- 5. Flink DataStreamの各メッセージをどのように反復処理しますか?
- 6. バッチデータをPHPで検証する
- 7. 処理(反復処理)
- 8. キュー:リッスンタイムアウト処理キュー処理
- 9. FLINKカフカコネクタランタイムエラー
- 10. FLINKは
- 11. CXFリクエストの前処理と後処理の処理
- 12. エラー処理と対象処理の例外処理の比較
- 13. Apache Flinkでめったに更新されない大きなルックアップテーブルを処理する方法
- 14. Flink Streaming:過去30日間のすべてのイベントで各イベントを処理する方法は?
- 15. Apache Flinkでは、イベントストリームの遅延をどのように処理していますか?
- 16. C#でのキー処理の処理
- 17. 未処理のURLエラーの処理
- 18. BizTalk Server 2013エラー処理の処理
- 19. 処理スケッチをタブで処理中JS
- 20. 複数のプロセスの処理の処理
- 21. Windowsアプリケーションの処理終了処理
- 22. 'influxdb.resultset.ResultSet'の流入db処理の処理
- 23. ビジュアルスタジオでの処理例外の処理
- 24. 複雑なイベント処理 - ストリーム処理
- 25. Entity Frameworkの並行処理の処理
- 26. ストリーム処理とメッセージ処理の違い
- 27. Apache Flinkストリームスケーリング
- 28. Apache Flink Kafka Itegration
- 29. apache flink DataSetウィンドウアグリゲーション
- 30. /windowApache Flinkチェーンオペレータ