2017-12-10 3 views
0

私は輸入がnumpyのことをAWS EMR上でPythonスクリプトを提出しようとしているが、私はAWSスパークEMR numpyのインポートエラー

ImportError: No module named numpy 

を得る私はここでの回答のいずれかを使用してみました:No module named numpy when spark-submitting。 私は

sudo yum install python-numpy python-scipy -y 

を含んbootstrap_actions.shスクリプトを作成し、私は、クラスタを作成しますが、それでもインポートエラーを取得するとき、私は、スクリプトを実行します。どのように私は仕事をインポートnumpy得ることができます上の任意のソリューションですか?

答えて

2

Amazon EMRでは、ブートストラップアクションを使用する必要があります。コンソールからインストールすると、タスクノードではなくマスターノードのみが変更されます。

runners: 
    emr: 
    bootstrap: 
    - sudo yum install -y python27-numpy 

私はあなたがPython 2.7を使用していると仮定しています。 Python 3.xを使用している場合、以下のリンクにはブートストラップにPIPとともにインストールする例があります。私はあなたが最近のEMR AMIを使用していると仮定しています。

EMR Bootstrapping Cookbook

+0

私はちょうどあなたが持っていた行を含めるために私のブートストラップスクリプトを変更しました:sudo yum install -y python27-numpy - ありがとう! – jakko

関連する問題