kafkaで他のVMからのSpark Streamingの使用方法

Question

私はSpark Streamingを仮想マシンに持っており、kafkaを含む他のVMと接続したいと思います。私はSparkにカフカマシンからデータを取得させたい。 これは可能ですか？

ありがとうございました

Answer 1

はい、間違いありません。実際には、これがシステムを分散している理由です：

Kafkaを使用している場合は、Spark Streamingプログラムを作成する際に、Kafka設定データ構造を作成する必要がありますプログラミング言語とクライアント）。その設定構造では、KafkaブローカーIPを指定する必要があります。これはあなたのKafka VMのIPになります。

その後、Spark VMでSpark Streaming Applicationを実行するだけで済みます。

Answer 2

別々のVMでそれらを使用することは可能であり、完璧です。そうすれば、明確な役割分担ができます。