圧縮された寄木細工のファイルを作成するためのクエリ方法は？

Question

私はapacheドリルを使ってデータフォーマット変更プログラムを作った。このプログラムで

、csvファイルをJSONに変換する場合は、JSONファイルHDFS

で行われた。しかし、私は、出力ファイルにしたいが圧縮されます。

可能でしょうか？それを作る方法があれば??

Answer 1

はい、Apacheのドリルで圧縮タイプを設定できます。ドキュメントから

、

あなたは、システムまたはセッションレベルでは、クラスタごとにドリルクエリの計画と実行のオプションを設定することができます。セッション・レベルで設定されたオプションは、現行のドリル接続中に実行する照会にのみ適用されます。システムレベルで設定されたオプションは、システム全体に影響を及ぼし、再起動の間も持続します。セッション・レベルの設定をオーバーライドシステム・レベルの設定「

ALTER SYSTEM SET `option_name` = value; 

オプション名store.parquet.compressionあなたは許容値から圧縮タイプを選択できます。てきぱきと、GZIP、どれも

詳細情報here。