Hadoopで使用する圧縮を指定する方法

Question

Hadoopは、複数の圧縮コーデック（Gzip、LZ4、Snappyなど）をサポートしています。どんなHadoop設定ファイルで、正確にどのファイルをジョブに使うのかを指定しますか？

Answer 1

ファイルcore-site.xmlで指定できます。 例：

<property> 
    <name>io.compression.codecs</name> 
<value>org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value> 
</property> 

とmapred-site.xml内指定：

<property> 
    <name>mapred.compress.map.output</name> 
    <value>true</value> 
</property> 
<property> 
    <name>mapred.map.output.compression.codec</name> 
    <value>org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
<name>mapred.output.compression.type</name> 
<value>BLOCK</value> 
</property>