私はkafkaの初心者です。 kafkaからhdfsにデータを書き込もうとしています。 Confluentのkafka-connect-hdfs Java APIの使用方法については、どこにも記載されていません。リンクやコードスニペットが私を助けます。前もって感謝します。コンフルエントkafka接続HDFS APIを使用するJavaコードが必要
答えて
Java APIを使用する必要はありません。 KafkaConnectはコマンドラインまたはREST APIから使用できます。たとえJavaからコネクタを起動しても、REST APIは引き続き動作します。
一部のマニュアルあなたが始めるために:
まず、KafkaConnectクイックスタートを、ちょうどあなたのシステムは、高度な何かをしようとする前に良い形であることを確認する: http://docs.confluent.io/3.0.0/connect/intro.html#quickstart
あなたはカフカに慣れていない場合一度
スタンドアローンより作品、分散モードに切り替えてみてくださいとRESTのAPIをチェックアウト: http://docs.confluent.io/3.0.0/connect/userguide.html#rest-interface、多分カフカのクイックスタートを早く開始
次にHDFSコネクタを試してください。クイックスタートで始まり、次のいずれか http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart
やブログのチュートリアル: http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect
これはあなたの方法でお役に立てば幸いです。
KafkaのProducer Java APIを使用して、Kafkaトピックに書き込むことができます。
kafka-connect-hdfsはトピックからのメッセージをHDFSに入れます。これはJavaコードを必要としません。瞬間のよう
$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \
etc/kafka-connect-hdfs/quickstart-hdfs.properties
、カフカコネクト・-HDFSのみカフカスキーマレジストリに登録アブロデータ形式でトピックをサポートしています。あなたはそれがカフカ-接続-HDFSのクイックスタートがで示されている実行
- 1. KafkaのトピックとHDFSの接続
- 2. コンフルエントなKafka AvroデシリアライザのJAVAバージョンエラー
- 3. Kafka JsonConverterを使用してJSON形式のHDFSシンクを接続します。
- 4. javaコード接続の使い方remote hadoop hdfs?
- 5. 残りの接続が必要なAPI
- 6. カフカHDFSコネクタ - 完全なコンフルエントなし
- 7. mysql_close(接続)を使用する必要がありますか?
- 8. ActiveRecordObject.newを使用するには接続が必要ですか?
- 9. バイトを必要とするJava APIでC++配列を直接使用する
- 10. [Java]接続を1つしか使用しない場合、接続プールが必要ですか?
- 11. プロデューサー/コンシューマーのJavaコードがドッカーセットアップでkafkaに接続できません
- 12. Apache Kafka 0.10.0 API with Javaを使用してKafkaブローカクラスタを作成する
- 13. Javaコードを使用してSHOUTCASTサーバーに接続する方法
- 14. HDP 2.4でKafka-Connect-HDFSをセットアップして使用する方法
- 15. Healthvault Java API:接続タイムアウト:接続
- 16. Javaクラス内でhtmlコードを使用する必要があります
- 17. $ HADOOP_HOMEの外でJavaプログラム(HDFS JAVA APIを使用する)を実行する
- 18. Visual Studio 2013とHDFSを接続する
- 19. Kafka-PythonとKerberosクラスタを接続する
- 20. Kafka:コンシューマ接続を終了する
- 21. USB接続用に最適なJava API
- 22. Android接続でAsyncTaskを使用してソケット接続を管理する必要がありますか?
- 23. Kafka Connect HDFSシンクの問題
- 24. Instagram APIを使用する必要がありますか?
- 25. JavaコードからTLSを接続する
- 26. Vaadin DesignerをJavaコードに接続する
- 27. Appstore接続用のURLとXcodeデベロッパーアカウントの接続が必要です
- 28. は、私は、データベースへの接続時に接続プールを使用する必要があるアプリケーションを持って動的にMySQLの接続/ J接続プール
- 29. libssh2を使用して、キーとパスワードが必要なSFTPサーバーに接続する
- 30. JavaのSmack APIを使用してGoogle Calendarに接続
kafkaストリームからデータを消費し、HDFSにダンプする必要があります。小さなコードスニペットが役に立ちます。私はJava APIのみを使用したいと思っています –
そのためにコネクタを使用できます:http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart –