空白で返されたHiveクエリの行

Question

Mongo DBからエクスポートされたツイートのjsonファイルから外部Hiveテーブルを作成しました。ハイブテーブルから複数の列を選択すると、検索結果のフォーマットが正しく行われません。いくつかの列は空またはNULLです（特定の値を条件としていても）。また、一部のデータは間違った列に表示されます。

テキストにはカンマが付いているので、これが起こっていると思います。つぶやきのテキストを選択せず​​にハイブテーブルを照会しようとすると、結果が意味をなさない。しかし、私はそれを修正する方法を知らない。

誰でも解決する方法はありますか？

ベストセラー

Answer 1

なぜ出力をフォーマットしないでください。このようなもの -

SELECT 
CONCAT(COALESCE(COL1,''), 
    '|', COALESCE(COL2,''), 
    '|', COALESCE(COL3,''), 
    '|', COALESCE(COL4,''), 
    '|', COALESCE(COL5,''), 
    '|', COALESCE(COL6,''), 
    '|', COALESCE(COL7,'')) as tweetsout 
FROM (
    SELECT COL1, COL2, COL3, COL4, COL5, COL6, COL7 
    FROM TWEETS 
    ) TOUT 

これは、標準のタブで区切られた出力の代わりにパイプで区切られた出力を与えます。

Answer 2

あなたが使用される正確なcreate tableコマンドを知らずに伝えることは困難である...

入力データがテーブルの区切り文字が含まれている場合は通常、テーブルが正しく解析されます。たとえば、入力データベース内の一部のつぶやきには、作成したハイブテーブルの行区切り文字であるかもしれない\nが含まれている場合があります。