2016-07-15 5 views
0

シェル(UIではなく)を使用しているSpringクラウドデータフローを使用してデータフローパイプラインを作成しようとしています。ソースがtwitterstreamで、ファイルとしてシンクします。ここで私は、ファイル・シンクを構成するためにやったことです:Springクラウドデータフローを使用してストリームデータをシンクファイルに書き込むことができません

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

私はカフカのトピックからデータを消費しますが、シンクの位置の上に書き込むことができないことができ、ファイルであっても作成されません。ストリームをデプロイする際のエラーログはありません。最終的に私はそれをローカルファイルシステムからHDFSに変更します。不足しているものはありますか?

PS:私は内部を/ tmp/XD /出力をデフォルトのファイルを作成することになっている(定義なし)デフォルトのファイル・シンクを、試してみました、のいずれか発生しませんでした。

答えて

2

最新の1.0.0.RELEASE(GA)リリースでは、次のストリーム定義が機能します。

dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"

指摘する物事のカップル:

1)twitterstreamソースはOOTBプロパティとして--credentialsをサポートしていません。 hereを参照してください。

2)OOTBプロパティとして--filenameをサポートしていないfileシンク。代わりに--nameを使用する必要があります。 hereを参照してください。

+0

ありがとうSabbby、これは正常に動作しました。 – thedheeraz

+0

hdfsシンクのデモをお勧めしますか?私は 'dataflow:>ストリームの作成demo --definition" twitterstream | hdfs --directory = hdfs:// ipaddress:9000/user/result --file-name = demo'でこれをやっていません。 – thedheeraz

+1

あなたは'--fs-URI =のHDFS:// IPアドレス:。。9000'' NameNode' URIとディレクトリを渡すためのプロパティはフォルダでなければなりませんあなたのケースでは、 '--directory = /ユーザー/ result' は従ってください[docs](http://docs.spring.io/spring-cloud-stream-app-starters/docs/1.0.0.RC1/reference/htmlsingle/#spring-cloud-stream-modules-hdfs-sink) 。 –

関連する問題