hadoop - jsonデータがハイブウェアハウスにロードされていることを確認します。

Question

jsonファイルがあります。ボリュームは約500 TBです。私は完全なセットをハイブデータウェアハウスにロードしました。

ハイブウェアハウスにロードされたvalidate or test the dataの仕組みはどうですか？ testing strategyはどうすればいいですか？

クライアントは、jsonデータの検証を希望します。ハイブにロードされたデータが正しくないかどうか。何かミスはありますか？はいの場合、それはどのフィールドですか？

助けてください。

Answer 1

データはハイブテーブルにどのように格納されていますか？

JSON文字列を受け取り、データを検証し、エラーメッセージとともに別の文字列を返したり、JSON文字列が整形式の場合は空の文字列を返すHive UDF関数を作成することもできます。ここで

はHVE UDFのチュートリアルです：場所にハイブUDF機能付 http://blog.matthewrathbone.com/2013/08/10/guide-to-writing-hive-udfs.html

することができますようにexecutequeries：あなたのプレーニングは、あなたがより多くのそれを説明してくださいすることができますカバーするためにテスト領域が何であるかを

select strjson, validateJson(strjson) from jsonTable where validateJson(strjson) != "";