2
.tar.gz
ファイルに大きな.csv
ファイルが格納されており、その内容をハイブテーブルに入れたいと考えています。残念ながら、.csv
ファイルを解凍するのに十分なディスク容量がありません。大きな.csvファイルを.tar.gzファイルからハイブテーブルにロード
Iは、以下の(次のおよび変形)を試みた:
Set Hive.exec.compress.output = true;
Set io.seqfile.compression.type = block;
DROP TABLE IF EXISTS db.test;
CREATE TABLE db.test
(var1 STRING, . . . varn STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
FIELDS TERMINATED BY '\n';
create table test_seq
stored as sequencefile as
select * from test ;
LOAD DATA LOCAL INPATH '/home/db/test.tar.gz' INTO TABLE db.test;
create table test_seq
stored as sequencefile as
select * from test;
SELECT * FROM test LIMIT 10;
しかし、得られたテーブルは、NULL値を含みます。理由は何ですか?
*なぜ*これがOPの問題を解決するかを指摘できますか? –