Hiveでコンマ区切りの10進値を処理する方法は？

Question

私は同じCSVファイルとメタデータを持っています。このCSVの列は、パイプで区切られています。シンボル。次のようにサンプルデータがある：

name|address|age|salary|doj 
xyz | abcdef|29 |567,34|12/02/2001 

ここsalary列が型小数のものではなく、小数点セパレータとしてperiod .を使用する、comma ,が使用されます。

以下のようにHive外部テーブルを作成しました。このデータでは、HiveはsalaryカラムのNULLを表示しています。

create external table employee as(
     name string, 
     address string, 
     age int, 
     salary decimal(7,3), 
     doj string 
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' 
LOCATION 's3://bucket/folder_having_many_csv_files/'; 

私は予想通り、その後Stringにsalary列のデータ型を変更した場合、ハイブが正常に動作します。

この特定の列のタイプがDECIMALで、小数点の区切りがcomma (,)で、period (.)の記号ではないことをHiveに伝える方法を知りたいと思います。

Answer 1

salaryを文字列として簡単に作成し、コンマを上のビューに置き換えることができます。これはおそらく、データが大きく、他の誰かがそれを所有している可能性が高いため、最も簡単なことです。

create view table employee_decimal as 
select name 
    , address 
    , age 
    , cast(regexp_replace(salary, ',', '.') as decimal(7,3)) as salary 
    , doj 
from employee;