Sparkデータフレームをスニッピー圧縮でORCフォーマットで書く

Question

S3に格納されたテキストファイルを読み込み、Sparkデータフレームを使用してORCフォーマットでS3に書き戻すことに成功しました。 - inputDf.write().orc(outputPath);
私ができないのは、スナップ圧縮でORC形式に変換することです。私はすでにコーデックの設定を書いている間にオプションを与えようとしましたが、Sparkはまだ普通のORCとして書いています。 Spark Dataframesを使用してS3にスナッピー圧縮してORC形式で書き込む方法

Answer 1

同じ問題に直面している人は、デフォルトではSpark 2.0の が可能です。 ORCのデフォルトの圧縮形式はsnappyに設定されています。

public class ConvertToOrc { 
    public static void main(String[] args) { 
     SparkSession spark = SparkSession 
       .builder() 
       .appName("OrcConvert") 
       .getOrCreate(); 
     String inputPath = args[0]; 
     String outputPath = args[1]; 

     Dataset<Row> inputDf = spark.read().option("sep", "\001").option("quote", "'").csv(inputPath); 
     inputDf.write().format("orc").save(outputPath); 

    } 
}