StreamSets Data Collector（SDC）を使用してカフカトピックを作成することは可能ですか？

Question

StreamSets Data Collector（SDC）Webツールを使用して、私のローカルシステムからKafkaプロデューサを介してKafkaにデータを転送するパイプラインを作成しています。ただし、データを保存するトピックを最初に手動で作成する必要があります。 StreamSets経由でトピックを作成することは可能ですか？

Answer 1

デフォルトでは、Kafkaはトピックを自動作成するように設定されています。 num.partitionsをbroker configに設定すると、トピックあたりのパーティション数がデフォルト値の1から変更されます。

パイプラインからトピックを作成する場合は、pipeline start eventからcreate a topicまでshell executorをトリガーできます。

ステージイベントからトピックを作成することはできません。データの後にこれらの呼び出しが宛先に送信され、パイプラインがデータの送信を開始する前にトピックを存在させたいからです。