flume-ng

1熱

1答えて

水路コマンド[テール-F]はLinuxの中で次のコマンドを実行しようとすると、1

で終了しました： bin/flume-ng agent -n a1 -c conf -f conf/flume-tail.properties -Dflume.root.logger=INFO,console はしかし、処理がで停止： 2016-06-26 09:03:44,610 (conf-file-poller-0) [INFO - org.apache.flume.node.Appli

0熱

1答えて

apache flumeのエージェントを実行中

flume 1.6vを使用して私のTwitterアプリを使用してログデータをダウンロードしようとしています。しかし、私は常にこのエラーに直面している： error>>/usr/hdp/2.2.9.0-3393/flume/bin/flume-ng.distro: line 247: /usr/java/jdk1.7.0_79/bin/java/: Not a directory /usr/hd

0熱

1答えて

flume hdfs rollSizeがマルチチャネルおよびマルチシンクで動作しない

Flume-ngを使用して128MBのログ情報を取得し、HDFSのファイルに入れようとしています。しかし、HDFSローリング・オプションは機能しません。 Flume-ngは秒ごとにログファイルを送信します。 flume.confファイルを修正するにはどうしたらいいですか？ agent01.sources = avroGenSrc agent01.channels = memoryChannel

-1熱

1答えて

Flumeを使用してローカルファイルシステムからHDFSにファイルをコピー

Javaでファイルジェネレータを使用すると、HDFSで移動する必要のあるローカルファイルシステムのディレクトリとファイルのストリームが作成されます。私はインターネットで検索し、私はFlumeを使うことができることを知ったが、私にそれをする方法を説明するリソースは見つけられなかった。これを実装する方法はありますか？はありがとう（あなたが環境について、コメントで述べたように）私は、同じマシン上でそ

0熱

1答えて

flumeのスプールディレクトリソースのファイルの名前を変更するための書き込み権限を与えるべきです

私は、スプールディレクトリソースから読み込み、いくつかの変換を行った後にhdfsに書き込むflumeエージェントを持っています。 flumeは処理されたファイルの名前を '.COMPLETED'に変更しようとしているので、私はスプールディレクトリへの書き込みの許可を拒否しました。私は、機密データに書き込み許可を与えることがどれほど安全か疑問に思っていました。がスプールディレクトリ

1熱

1答えて

スプールディレクトリを使用してflumeに書き込む方法ファイル名を変更する方法

flumeスプールディレクトリを使用してhdfsに書き出します。ここに私のコードです #initialize agent's source, channel and sink agent.sources = test agent.channels = memoryChannel agent.sinks = flumeHDFS # Setting the source to spool d

0熱

1答えて

flumeでディレクトリを作成する方法

flumeでソースとしてスプールディレクトリを作成する方法を知っています。私はスプールディレクトリを使用して、フォルダからhdfsシンクにファイルをコピーしています。ローカルフォルダにファイルの一部をコピーできるように、スプールディレクトリをシンクとして作成する方法はありますか？

0熱

1答えて

Flume Distribution

Apache Flume 1.6公式サイトより、私はflumeがであることを発見しました。しかし、Master-slaveアーキテクチャーはFlume 1.xの後で非推奨になりました。 flumeはどのように作業を配布しますか？私はHortonworksを経由して2つのホストにflumeをインストールしました。私は2つの別々の機械で2つの別々の水路を走らせるような気がする。誰かがその分布を理解する

1熱

2答えて

apache flumeログディレクトリ

Apache Flumeを学ぼう。私は、水路の公式入門ウェブサイト上の指示に従ってください： https://cwiki.apache.org/confluence/display/FLUME/Getting+Started ほとんどすべては、後に上記のリンク上の指示に従って結構です。しかし、後でログファイルを見つけることができませんでした。ログファイルは{flume.directory}/log

0熱

1答えて

Flume：単一のシンクにログを追加する複数のソース

単一のマシン上の異なるディレクトリからログをローカルファイルシステムファイルまたはHDFSに収集しようとしています。私は2つのソースr1、r2を登録しました。両方のソースが単一チャネルC1を指しています。チャネルに1つのシンクが接続されています。 K1 以下の設定ファイルを見つけるしてください： # Name the components on this agent a1.sources