Sqoopのインポートに失敗する

Question

私はOracleからSqoopを使ってHiveにテーブルをインポートしようとしています。私は、次のコマンドを使用：

sqoop-import --connect jdbc:<connection> --table test1 --username test --password test --hive-table hive_test --create-hive-table --hive-import -m 1  

をしかし、これはだから私は多くのフォーラムでは、オンラインで読み、それは私がディレクトリを削除して、再度コマンドを実行しなければならないと述べた私のエラー

Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory <hdfs path> already exists 

を与えます。 私はそれを正確に行いましたが、私はまだエラーが発生し続けています。

Answer 1

あなたはSqoopハイブインポートの作業を理解する必要があります。

• インポートデータHDFS <some-dir>
• しないが、テーブル<some-table>

へ

LOADデータINPATH '<some-dir>' を存在する場合は、ステップ1

でエラーを取得しているハイブテーブルに<some-table>を作成します。

Output directory <hdfs path> already exists 

これを削除とし、次に進みます。

良い方法：

毎回これを手動で削除する必要はありません。

コマンドに--delete-target-dirを使用してください。それは

P.S.が存在する場合は

は、インポート先のディレクトリを削除します--create-hive-tableと--hive-importを使用する必要はありません。 --hive-importデフォルトでテーブルを作成します。

Answer 2

ハイブは、ディレクトリとして、テーブル名でHDFSにハイブ倉庫内のテーブルデータを記憶し、通常経路

/ユーザ/ハイブ/倉庫/

は、テーブル名のディレクトリを削除する必要が下に有します。

hadoop fs -rmr /user/hive/warehouse/hive_test