amiでhadoop用のpython仮想ステップを設定する方法4.x

Question

ami 3ではファイル/home/hadoop/conf/hadoop-user-env.shが存在しました。私が見てきたこのレガシーコードは、ブートストラップでこのコマンドを実行することができました。

echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh 

これは、Pythonの仮想envを有効にします。

ami4ではこのファイルはなくなりました。 amo 4の下で仮想環境で実行するためにHadoopでPythonのステップを取得するにはどうすればよいですか？

Answer 1

これを打つと、あなたに役立つことを願っています。

Amazon EMR AMIバージョン2.xおよび3.xでは、標準のHadoopには含まれていなかったhadoop-user-env.shスクリプトがあり、Hadoopを構成するためのconfigure-daemonsブートストラップアクションと共に使用されていました環境。スクリプトは次のアクションが含ま：アマゾンEMRリリース4.xでは

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh 

を、あなたはHadoopの-ENV構成で今同じことを行うことができます。

[ 
    { 
    "Classification":"hadoop-env", 
    "Properties":{ 

    }, 
    "Configurations":[ 
     { 
      "Classification":"export", 
      "Properties":{ 
       "HADOOP_USER_CLASSPATH_FIRST":"true", 
       "HADOOP_CLASSPATH":"/path/to/my.jar" 
      } 
     } 
    ] 
    } 
] 

違いについての詳細情報がありますし、 Amazon's Documentation Siteの交換コード。