CKANのリソースをKafka consume-APIにリンクすることはできますか?私はリアルタイムでKafkaで公開されているライブリソースをCKAN APIでアクセスしたいと考えています。CKANでKafkaを消費する方法
0
A
答えて
1
おそらくCKAN拡張でこれを書くべきです。 例えば、私はDatapusherと同じように動作するCKAN-Validatorプラグインを作成しましたが、ファイルを取得し、摩擦のないgoodtablesを使用して検証し、csvファイルとExcelファイルの機能を検証しました。検証に成功すると、ファイルをデータベースにプッシュして、Logstashがデータを取得し、Elasticsearchへの移動を開始します。さまざまな理由でメイテーブルよりGoodTablesを選択しました。
私は、Kafka consume-APIからデータを取得し、それをCKANデータストアにプッシュするバックグラウンドジョブを書くことができると思います。
ckan-service-provider
ライブラリをご覧ください。
これは、私が私の書いたものです。
こちらはgithubのリンクです:https://github.com/ckan/ckan-service-provider
関連する問題
- 1. kafkaがJavaプログラムで遅延を消費する方法
- 2. clj-kafka - 消費者が空
- 3. Kafka消費者グループオフセット保存
- 4. トピックがKafkaの消費者によって消費されたかどうかを確認する方法
- 5. Kafka 10の消費者からコミットしないメッセージを消費する
- 6. kafkaログ圧縮データを消費
- 7. python kafka:各メッセージをグループ単位で1回だけ消費する方法
- 8. kafka消費者登録リスト(動物園)
- 9. 消費者コミットオフセット/ v2/kafka /(クラスタ)/コンシューマ
- 10. mulithreaded kafka消費者、ノーシュアエント例外なし
- 11. kafka-nodeを使用して消費されたkafkaメッセージのコミットを制御する方法
- 12. kafka MirrorMaker:コンシューマスレッドkafka-mirrorで消費されるブローカパーティションがありません
- 13. KAFKA REST APIを使用してJSONメッセージを消費する
- 14. WPFコマンド - ユーザーコントロールで消費する方法
- 15. Kafkaの消費者にOffsetCommitRequestを送信するには?
- 16. Kafka KStream - 消費者の遅れを測定する
- 17. go中のKafka Avroメッセージを消費する
- 18. kafka Javaクライアントは消費しません - consumer.pollでハングアップします
- 19. ディレクティブを消費する方法
- 20. Kafka 0.9 KafkaConsumerでオフセットを手動でコミットするときにメッセージを再消費する方法
- 21. Kafka消費者が空のイテレータを返す
- 22. Spring Integration Kafka消費者リスナーがメッセージを受信しない
- 23. react-kafka:なぜパブリッシャーは消費者に「行く」?
- 24. flink kafka消費者グループが動作していません
- 25. は、消費者またはプロデューサでkafka broker ipを使用できますか?
- 26. kafkaにはサポートできる消費者数に上限がありますか?
- 27. デコレータでプログラムが消費するメモリを監視する方法
- 28. Reactive-Kafka:例外的に消費者を一時停止し、要求に応じて再試行する方法
- 29. herokuのレールでTwitter/Datasiftストリームを消費する方法
- 30. PHPでユーザの帯域幅消費を監視する方法