Solaceキューからメッセージを受け取り、Apache Storm経由でHbase/HDFSなどの任意のデータストアに格納したい。Apache StormとSolaceメッセージキューを統合してSolaceからメッセージを受信する方法。スパークストリーミング統合のように。
Solaceがintegration guideを公開して、メッセージをSparkのメモリに保存するカスタム受信者をセットアップしました。 その他integration guidesも利用できましたが、Apache Stormとの統合は例外です。
これが可能かどうかわかりません。これは、 誰もがこれをしている場合は、同じ(いくつかの他のメッセージングプロバイダを慰めていない場合)にいくつかのポインタを与えることができますか?
なぜStorm経由ですか? FlumeはあなたがHbase/HDFSに書きたいものを行うことができます。 –
Flumeを使用していた以前のソリューション。 Hbase - AsyncHbaseSinkは正常に動作していました。私はそれがFlumeで達成できることを知っています。スパークストリーミングでもうまくいきました。うまくいきました。この質問は、Stormがその働きをしているかどうかをテストするためのものです。より良いツールとテクニックを追求しています –