7
Apache Sparkでブートストラップされた3ノードAWS ElasticMapReduceクラスタを導入しました。私のローカルマシンから、私はSSHでマスターノードにアクセスすることができます。一度マスターノードにssh'dPySpark（ローカルマシン）をEMRクラスタにどのように接続できますか？
ssh -i <key> [email protected] が、私はpyspark経由PySparkにアクセスすることができます。 また、（安全ではありませんが）私はローカルマシンのIPアドレスからのTCPトラフィックをポート7077に受け入れるようにマスタノードのセキュリティグループを設定しました。
しかし、私はまだ私のクラスターに私のローカル PySparkインスタンスに接続することができません：例外の数で上記のコマンドの結果
MASTER=spark://ec2-master-node-public-address:7077 ./bin/pyspark
とSparkContextオブジェクトを初期化することができませんにPySparkを引き起こし。
私は上記のようなリモート接続を作成する方法を知っていますか？
理由を教えてください。私はこれもやってみたいですが、なぜこのアプローチがうまくいかないのであれば、なぜ私はそれをできないのか説明できる必要があります。 – thebigdog
私は正直なところ投票しても構いませんが、回答が正当だと考える理由についてコメントすることはできません。 – eliasah
これはおかしいようになっています...あなたは答えが気に入らず、ダウンボートですか？それは有効な答えです！ – eliasah