PigでHDFSにSTORE（上書き）する方法は？

Question

STOREコマンドを使用して豚のスクリプトを開発するとき、私はすべての実行のための出力ディレクトリを削除する必要がありますまたはスクリプトが停止しています：

2012-06-19 19:22:49,680 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6000: Output Location Validation Failed for: 'hdfs://[server]/user/[user]/foo/bar More info to follow: 
Output directory hdfs://[server]/user/[user]/foo/bar already exists 

だから私はへのイン豚ソリューションを探していますディレクトリを自動的に削除します。また、ディレクトリがコール時に存在しない場合は、チョークしません。

豚ラテン語のリファレンスでは、シェルコマンドの呼び出し元fsが見つかりました。残念ながら、何かエラーが発生すると、Pigスクリプトは中断します。だから私は使用できません。ディレクトリが存在しないと壊れてしまいますので、使用できません。再利用することはできません。再帰的に削除してください。現時点では私は私がテストされ、ブレークまたはそう私は思っていないはずである

fs -test -e foo/bar 

を使用することを考えました。しかし、Pigは、存在しないディレクトリ上のtestのリターンコードを失敗コードとして再度解釈し、中断します。

は私の問題に対処し、STOREコマンドのオプションパラメータOVERWRITEまたはFORCE_WRITEを示唆豚のプロジェクトのためのJIRA ticketがあります。とにかく、私はPig 0.8.1を必要に応じて使用しています。そのようなパラメータはありません。

Answer 1

最後に、grokbaseの解決策が見つかりました。解決策が見つからないので、私はここでそれを再現して追加します。 「;」

は、スクリプト

rmf foo/bar 

ないの開始時に呼び出すことができ、あなたはディレクトリを削除するために、

STORE Relation INTO 'foo/bar'; 

Thenステートメントを使用して、出力を保存したいとしシェルコマンドであるため、引用符を必要としません。

私はこれを再現することはできませんが、ある時点では、私はそのファイルが見つからないというエラーメッセージが表示されます。rmfはmap/reduceで干渉しました。ですから、関係宣言の前にコールを置くことをお勧めします。 SETの後、REGISTERsとデフォルトはうまくいくはずです。

例：

SET mapred.fairscheduler.pool 'inhouse'; 
REGISTER /usr/lib/pig/contrib/piggybank/java/piggybank.jar; 
%default name 'foobar' 
rmf foo/bar 
Rel = LOAD 'something.tsv'; 
STORE Rel INTO 'foo/bar'; 

Answer 2

あなたはfsコマンドを使用すると、そこにこれを行うための方法がたくさん。

-- Delete file (won't work for output, which will be a directory 
-- but will work for a file that gets copied or moved during the 
-- the script.) 
fs -touchz top_100 
rm top_100 

ディレクトリ

-- Delete dir 
fs -rm -r out