0

Solaceキューからメッセージを受け取り、Apache Storm経由でHbase/HDFSなどの任意のデータストアに格納したい。Apache StormとSolaceメッセージキューを統合してSolaceからメッセージを受信する方法。スパークストリーミング統合のように。

Solaceがintegration guideを公開して、メッセージをSparkのメモリに保存するカスタム受信者をセットアップしました。 その他integration guidesも利用できましたが、Apache Stormとの統合は例外です。

これが可能かどうかわかりません。これは、 誰もがこれをしている場合は、同じ(いくつかの他のメッセージングプロバイダを慰めていない場合)にいくつかのポインタを与えることができますか?

+0

なぜStorm経由ですか? FlumeはあなたがHbase/HDFSに書きたいものを行うことができます。 –

+0

Flumeを使用していた以前のソリューション。 Hbase - AsyncHbaseSinkは正常に動作していました。私はそれがFlumeで達成できることを知っています。スパークストリーミングでもうまくいきました。うまくいきました。この質問は、Stormがその働きをしているかどうかをテストするためのものです。より良いツールとテクニックを追求しています –

答えて

2

Apache Stormのドキュメントを見ると、これについて2通りの方法があります。

  1. MQTT経由で統合 - https://storm.apache.org/releases/1.0.0/storm-mqtt.html
  2. をJMS経由で統合 - https://github.com/ptgoetz/storm-jms

    嵐-JMSのプロジェクトは、あなたが(慰めのための統合ガイドを持っている)、Springフレームワークを利用することができSpringJmsProviderを提供ConnectionFactoryDestinationを参照してください。

    また、独自のorg.apache.storm.jms.JmsProviderを実装して、ConnectionFactoryDestinationをSpring Frameworkなしで実装することもできます。

関連する問題