StreamSetsアーキテクチャとは何ですか？

Question

チュートリアルを終えてもアーキテクチャについてはあまり明確ではありません。分散環境でストリームセットを拡張するにはどうすればよいですか？たとえば、入力データの速度が原点から増加し、SDCがパフォーマンスの問題を起こさないようにする方法を教えてください。いくつのデーモンが実行されますか？それはマスターワーカーアーキテクチャかピアツーピアアーキテクチャでしょうか？

複数のマシンで実行されているデーモンが複数ある場合（たとえば、1つのsdcとYARNの1つのNodeManager）、データの集中ビュー、つまり合計レコード数などをどのように表示しますか？

また、Dataflowパフォーマンスマネージャのアーキテクチャについても教えてください。この製品にはどのデーモンがありますか？

Answer 1

StreamSets Data Collector（SDC）は、入力データを分割することによって拡大縮小します。場合によっては、Cluster Batch modeがHadoop/MapRクラスタ上のMapReduceジョブとしてSDCを実行してHadoop FS/MapR FSデータを読み取るなど、Cluster Streaming modeはKafkaパーティションを活用し、SDCをSpark Streamingアプリケーションとして実行します。カフカパーティションがあるので、多くのパイプラインインスタンス。

ストリームセットは、マルチスレッドで拡張できます。たとえば、HTTP ServerおよびJDBC Multitable Consumerオリジンでは、複数のパイプラインインスタンスが別々のスレッドで実行されます。

すべての場合、Dataflow Performance Manager（DPM）は、合計レコード数を含むデータの集中表示を提供します。