2016-09-11 37 views
0

私はNiFiについて読んでいて、クエリはほとんどありません。私がローカルからHDFSにデータを移動したいというユースケースを考えてみましょう。私はgetFileとputHDFSプロセッサを使用します。NiFi |フローファイル移動プロセッサーを使用して

getFileに場所を渡すと、データを取得してコンテンツリポジトリに移動し、さらにputHDFSプロセッサに渡して処理を行います。

質問:私は、フローファイルの内容を見てきました

  1. はバイト表現で、バイト変換はNifiによって行われない(私のソースファイルがテキストファイルである場合)?

  2. データはどのようにコンテンツリポジトリからHDFSに移動されますか?

+0

NIFIの概要とユーザーズガイドを読んでください.NIFIを使用している場合は必ず読んでください。 https://nifi.apache.org/docs/nifi-docs/html/overview.html ...... https://nifi.apache.org/docs/nifi-docs/html/user-guide .html – milanchandna

答えて

1

1)実際に変換が行われていません。GetFileプロセッサは、ソースファイルからバイトを読み込み、バイトをコンテンツリポジトリに書き込んでいます。ソースファイルの内容が何であっても、コンテンツリポジトリでは同じになります。この操作はストリーミング形式で実行され、ファイル全体をメモリに読み込まずに大きなファイルをコンテンツリポジトリに移動することができます。

2)PutHDFSプロセッサは、Apache Hadoop 2.6.2クライアントを使用して、コンテンツリポジトリからHDFSにストリームをストリームします。これは、コマンド行から "hdfs put"を実行するのと同様です。

関連する問題