豚スクリプトを使用してファイルの最初と最後の行を削除する

Question

豚スクリプトを使用してHDFSで私のファイルの最初と最後の行/行を削除します。私はランクを使用してこれを達成しようとしたが、それは働いたが、それを削除する最後のランク数を知っている必要がありますが、私のファイルは、それは多かれ少なかれ行を持つことができる動的です。助けてください

EDIT： 私のデータはので、私は、スキーマを作成することはできません巨大で、グループ彼らはMINを使用することはできません（）これをどのように達成するために？

Answer 1

ランクが利用可能になったら、除外する最初と最後のランク（つまり、ファイルの最初と最後の行）をMINとMAXの評価関数の平均で取得できます。この方法では、ランクフィルターをハードコードする必要はありません。 Eval function MAX

2. Eval function MIN

注：これは豚のバージョン0.16.0のためです。