外部テーブルを使用して1つのファイルを指す方法

Question

外部としてhdfsデータをロードしようとしていますが、次のエラーが表示されます。

フォルダml-100kには、異なるデータセットを持つ複数のデータセットがあるため、その特定のファイルをロードするだけで済みます。

hive> create external table movie_ratings (movie_id int, user_id int, ratings int, field_4 int) location 'hdfs://hadoop-master:8020/user/hduser/gutenberg/ml-100k/u.data' 
    > ; 
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:hdfs://hadoop-master:8020/user/hduser/gutenberg/ml-100k/u.data is not a directory or unable to create one) 

Answer 1

あなただけのディレクトリに、ファイルを指すテーブルを作成することはできませんが、特定のファイルに場所を変更することができる機能/バグがあります。

create external table movie_ratings (movie_id int, user_id int, ratings int, field_4 int) location 'hdfs://hadoop-master:8020/user/hduser/gutenberg/ml-100k'; 

alter table movie_ratings set location 'hdfs://hadoop-master:8020/user/hduser/gutenberg/ml-100k/u.data'; 

Answer 2

あなたは、ディレクトリを与える必要があり、特定のファイル上のハイブのテーブルを作成することはできません。 ですから、ml-100k/の下にサブディレクトリを作成し、このようにそれを使用することができます：

create external table movie_ratings (movie_id int, user_id int, ratings int, field_4 int) location 'hdfs://hadoop-master:8020/user/hduser/gutenberg/ml-100k/new_subfilder/' 

なテーブルに挿入すると、新しいを作成しますので、@Duduで言及したバグは、特定のケースを解決するが、一般的な使用のための安全でないかもしれません指定されたファイルを追加することはありません！