2017-12-05 4 views
0

私はNiFiを新しくしており、助言を歓迎します。RabbitMQとNiFi

多くの小さなレコードで外部から送信されたデータを取得します。私はこれらのレコードをRabbitMQ経由でNiFiに取り込むことを考えています。私は、それらのレコードを(おそらくレコードのいくつかのインデックスに基づいて)より大きなグループ化に「スプール」または「バッチ」し、あるレコードグループがS3に一定のサイズのしきい値に達すると、

NiFiでこれを最もうまく行うには?その他の提案はありますか?これは達成可能である必要があり

おかげで、ゲイリー

答えて

0

...私はRabbitMQのおよそその多くを知らないが、それは、JMSインタフェースをサポートしていることを仮定して、あなたはおそらくにMergeContent続いNiFiのConsumeJMSプロセッサを、使用することができますしきい値に達するまでマージし、次にPutS3ObjectをS3に書き込みます。

0

ラビットMQは、AMQPに基づいています。 NifiはConsumeAMQPと呼ばれるAMQPのプロセッサをサポートしています。あなたはRabbitMQに特有のドキュメントを持っているリンクの追加の詳細を見つけるでしょう。ドキュメントに従ってプロセッサを構成してください。

2番目の部分では、PutS3Objectプロセッサを使用する必要があります。そこでは、しきい値を定義することができます。