私は、2つ以上の入力が1つの出力を生成するためにそれらに対して実行された操作(集合、補数など)を持つワークフローを持っています。私は自分自身で設定されたロジックを実行するプロセッサを作成する必要があると予想しますが、異なる起源の複数のフローファイルで同時に作業することも可能ですか?Apache NiFi - プロセッサへの入力として複数のFlowFilesを使用する
0
A
答えて
1
NiFiプロセッサは、入力キュー内のすべてのフローファイルに対して操作できます。たとえば:
@Override
public void onTrigger(final ProcessContext context, final ProcessSession session) {
List<FlowFile> flowFiles = session.get(context.getProperty(BATCH_SIZE).asInteger());
if (flowFiles == null || flowFiles.size() == 0) {
return;
}
// process flowFiles
...
その後、同じ背圧と優先順位付けの設定を共有することができ、単一の入力キューの中に複数の入力を一緒に持って来るためにファンネルコンポーネントを使用することができます。
関連する問題
- 1. Apache Nifi GetFTPプロセッサ動的入力
- 2. Apache Nifi ExecuteSQLプロセッサでのプロシージャコールの使用方法(入出力パラメータとも)
- 3. Apache NifiプロセッサのMulti Valueオプション
- 4. Apache Nifiの同じプロセッサで派生属性を使用する
- 5. apache nifiを使用してあるプロセッサから別のプロセッサに動的に値を渡す方法
- 6. ExecutionScript出力二つの異なるflowfiles NIFI
- 7. 外部ファイルを使用してNiFiプロセッサを設定する
- 8. NiFiプロセッサを使用してhadoopにフェイスブックデータをフェッチする手順
- 9. バッチで入力を使用してテキストへの複数の行
- 10. Nifi putSQLプロセッサは、単純な挿入
- 11. fetchelasticsearchプロセッサのNifiエラー
- 12. ReplaceText Apache NiFiでの使用
- 13. Apache NIFIでプロセッサ 'GetFile'を使用してネットワークに接続されたディスクのファイルを取得する方法
- 14. Apache NiFiプロセッサのデータ源の目的は何ですか
- 15. ListenHttp Apache NIfiジェネリックベースパス
- 16. 複数のフローファイルを同期させる障壁のように機能するApache Nifiプロセッサ
- 17. PythonでNiFi ExecuteScriptプロセッサを使用するには?
- 18. Nifiプロセッサのcronベースのスケジューリング
- 19. Apache Sparkの複数行入力でJavaを使用
- 20. NifiエラーWwth putsolrcontentstreamプロセッサ
- 21. Apache Nifiでのデータ集約
- 22. Apache NifiでExecuteSQLプロセッサー
- 23. Apache NiFiを使用したHbaseカウンタ
- 24. Apache NiFi - データWebサービス
- 25. Apache NiFiを使用してCSVファイルをJSONに変換する
- 26. 複数のスレッド/プロセッサを利用したwebmへのトランスコード
- 27. Apache NiFi - カスタムプロセッサで複数のスレッドを設定するNullPointerException
- 28. url - 複数の入力タイプを使用してフォームにデータを入力する
- 29. テーブル入力の引数として複数の文字列を使用する
- 30. JavaScriptを使用して複数のテキストボックスを入力する
あなたが(ない場合NiFiに)サンプルセット操作をコンセプトにどのように動作するかを説明することはできますか?複数のソースフローファイルを使用するほとんどのNiFi操作は、マージ、ソート、バッチプットのいずれかです。 – James
最も基本的な操作は 'マッチ&マージ'(交差)操作に似ています - フローファイルAとBを取り、AとBに共通の要素を持つ単一の出力フローファイルを生成します。マージ/ MergeContentのドキュメントは、受信接続が1つしかサポートされていないことを示しているようですが – septagram