Apache Nifiを使用して重複なしでHiveからSQL Serverにデータを引き出す

Question

申し訳ありませんApache Nifiの新機能です。だから、私はハイブからデータを引き出し、それをSQLに格納するというデータフローを作りました。私のデータフローにエラーはありません。唯一の問題は、データを繰り返し引き出すことです。

マイデータの流れがあるが、以下で構成されています

1. SelectHiveQL
2. SplitAvro
3. ConvertAvroToJson
4. ConvertJsonTOSQL
5. PutSQL

例えばハイブの私のテーブルには、わずか20行を持っているが、私は、データフローを実行して、MS SQLの私のテーブルをチェックするとき。それは5,000行を保存しました。 SelectHiveQLはデータを繰り返し取得しました。

ハイブテーブルで20行または正確な行数だけを引き出すために必要なことは何ですか？

あなたは

Answer 1

SelectHiveQL（多くのNiFiプロセッサのような）ユーザーが指定したスケジュールで実行されますありがとうございました。プロセッサを1回だけ実行させるには、実行スケジュールを30秒に設定してから、プロセッサを起動して直ちに停止します。プロセッサは一度トリガされ、それを停止しても現在の実行が中断されません。プロセッサが再びスケジューリングされないようにします。

もう一つの方法は、