hdfsにディレクトリを圧縮することはできますか？

Question

hdfs上のディレクトリを解凍し、それをローカルシステムに持っていくことができるのであれば、私は考えていました。これを行う方法はありますか？

ご協力いただければ幸いです。

ありがとうございます。

Answer 1

次のプロパティを設定した後、インサートの上書きを行うハイブテーブル&を作成することができます。

set mapred.output.compress=true; 
set hive.exec.compress.output=true; 
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec; 

しかし、より良い方法は、最初の場所でファイルを作成し、ジョブで圧縮を有効にすることです。

注：私はGzipとして圧縮を指定しましたが、スナップまたはlzoのような分割可能なコーデックを使用することをお勧めします。