VMを使用している同じマシン上のHadoopの複数ノードに関連するクエリ

Question

私はhadoopを少し熟慮しています。私はhadoopでいくつかのタスクを実装しました。これまでは、シングルノードクラスタで実行しています。私は複数のノードクラスタに向かうことを考えています。

2台の仮想マシン（両方のVMにUbuntuをインストール）を使用して同じシステム上に複数のノードを構成した場合、パフォーマンスが向上するか、同じマシン上で実行されているものと同じになります。

（同じマシンで複数のノードを実行すると、同じマシン上で実行されるすべてのプロセスが実行待ちになるため、実行に時間がかかることがあります。私が間違っている場合は、これについてはほとんど考えていないのでpls）

できるだけ早くお知らせください。ありがとうございます。

Answer 1

パフォーマンス： 1）あなたが持っていますVMのオーバーヘッドが大きいため、タスクに使用できるメモリが少なくなります。
2）同じOS内のVM間では、ネットワーク間の通信が遅くなります。
3）一部のディスクIOオーバーヘッドは、VMによって導入されることがあります（ただし、比較的小さいですが）。
4）ジョブごとのオーバーヘッドはクラスタのサイズに関係しているので、おそらく1ノードです。 Mbr>
クラスタは、2ノードクラスタより速いジョブ開始時間を持つでしょう。

また、このようなクラスタのパフォーマンスが向上する理由もわかりません。

Answer 2

実際の設定によっては、パフォーマンスが低下する可能性があります。 新しいVMを追加したときにも、より多くのメモリ、より多くのCPUやより多くのIOを追加しない限り、その後のVMが同じリソースに対して競合する2 ...次reasonsLため、ほぼ確実に