私はKafkaにプッシュされたメッセージを深いストレージに保存する必要があります。私たちはAzureクラウドサービスを使用していますので、Azure BLOBストレージがより良い選択肢になると思います。私はKafka ConnectのシンクコネクタAPIを使用してデータをAzure BLOBにプッシュしたいと考えています。 KafkaのドキュメントではHDFSにデータをエクスポートするよう提案していますが、その場合はHadoopを実行するLinux VMが必要です。私の質問は、Azure BLOBストレージがJSONオブジェクトを格納する適切な選択肢であり、カスタムのシンクコネクタを構築することは、このケースでは合理的な解決策ですか?Azure Blobストレージ用Kafkaコネクタ
0
A
答えて
2
カスタムシンクコネクタは間違いなく動作します。 Kafka Connectはコネクターを差し込めるように設計されています。実際、コネクタの開発は完全に統合されています。 ConfluentのJDBCとHDFSコネクタは、2つのユースケースの人気のために最初に実装されましたが、さらに多くのものがあります(私たちが気づいているコネクタのリストを保持します)。
Azure BLOBストレージが適切なJSONオブジェクトについて言及しておきたいと思いますが、オブジェクトのサイズとAzureストレージのサイズがオブジェクトの数である&をうまく扱うかどうかだけ考えてください。他のオブジェクトストレージシステムでは、多数のオブジェクトを単一のBLOBに集約して多数のオブジェクトのパフォーマンスを向上させる必要があります(つまり、多くのJSONオブジェクトをサポートするファイル形式が必要な場合があります)。
関連する問題
- 1. Azure Blobストレージのトランザクションアクセス
- 2. Azure BlobストレージBLOBを表示する
- 3. Azure BLOBストレージのあるCNAME
- 4. Azure Blobストレージの代替品
- 5. Azure blobストレージのアップロードのパフォーマンス
- 6. AzureストレージとOracle Blobコンテンツ
- 7. アクセスAzure Blobログインユーザーのストレージ
- 8. Micorsoft Azure blobストレージ秘密
- 9. Azureチュートリアル - ローカルBLOBストレージの使用方法
- 10. Azure BlobストレージとAzure SQL Dbアトミックトランザクション
- 11. Azure BLOB SASでのストレージ承認
- 12. ファイルをAzure Blobストレージからダウンロードする
- 13. Azure Blobストレージでのホットリンクの防止
- 14. Azure BLOBストレージをバックアップするには?
- 15. Azure Blobストレージ(開発接続の問題)
- 16. SQL ServerのAzureストレージ内のBLOBのリスト
- 17. Azureストレージ - プライベートコンテナのBLOBを<img>タグ
- 18. Azure BLOBストレージ - 価格と速度「データセンター内」
- 19. ファイルをAzure Blobストレージにアップロードする
- 20. 画像をAzure BlobストレージにURL
- 21. Azureストレージを使い始める:BLOB対テーブルSQL Azure
- 22. Azure BlobストレージからAzure SUSE LINUX VMにファイルをコピー
- 23. Azure Automation - Azure API BLOBストレージへのバックアップの管理
- 24. Azure Blobストレージを使用してhttpsでREST APIを公開
- 25. CORS Azure Blobストレージに対するソケットを使用
- 26. Azure WebJob Powershellスクリプトを使用してAzure Blobストレージにファイルをアップロードする
- 27. Azure標準Blobストレージを標準Blobストレージアカウントに変更する方法は?
- 28. Azure - 共有ホスティング経由でBLOBストレージにファイルをアップロード
- 29. Azure BlobストレージでWCF RESTからファイルをダウンロード
- 30. ASP.NETのMS AzureのBLOBストレージとやりとりするC#
カスタムシンクについては、それは ' s OK。現在、Azure BLOBストレージ用の公式シンクはありません。別の解決策が必要な場合は、Apache Flume(KafkaソースとAzure Sink)を試してみてください。参考までにこのリンクを参照してください:https://blogs.msdn.microsoft.com/bigdatasupport/2014/03/18/using-apache- flume-with-hdinsight / – NangSaigon