クラスタ上のAWS EMRファイル作成が動作しない

Question

ステップを追加してスクリプトを送信すると、EMRでいくつかのシェルスクリプトが実行されています - プロセスは実行されますが、ローカルシステムにファイルを作成するスクリプト内の行。しかし、SSHでログインして同じスクリプトを実行すると（つまり、一度ログインしてコマンドラインにコピー＆ペーストすると）、ファイルが作成されています。

ファイルを作成する行は次のとおりです。

echo $FILENAMEUS > /home/hadoop/filename.csv 

私の最初の考えは、Hadoopのファイルシステムの所有ですが、私はこれが起こる理由としては本当の手掛かりを持っていません。どんな助けでも大歓迎です。ありがとうございました。

Answer 1

単純にechoをhadoop fsに直接書き込むことはできません。そこに配置するには、hadoop fs -put関数を使用する必要があります。

echo $FILENAME | hadoop fs -put - filesystem:///url 

本当に便利、あなたは、あなたが直接HadoopのFS -put HDFSファイルシステムに操作を行うことができできるように、すべてのsedawkなどし、それ-put HDFSへ。