apache-sqoop

0熱

1答えて

ハイブテーブルの私のフィールドの1つにすべての特殊文字が含まれているので、私はMultiDelimitSerDe（〜＃）を使ってハイブフィールドを区切りました。これらのデータは、Sqoopエクスポートを使用してMy sqlにエクスポートする必要があります。そして私は複数の区切り文字でエクスポートするSqoopを見ません。他の方法はありますか？これらのフィールドには、date、bigint、dec

1熱

2答えて

sqoopコマンドでHadoopユーザを設定する

別のユーザとしてsqoopコマンドを実行したい。私はmapreduce.map.memory.mbオプションを設定する方法に似sqoopコマンドでこれを設定する方法がある場合は、私が思っていた export HADOOP_USER_NAME=desiredUser sqoop import \ -D mapreduce.map.memory.mb=4096 \ -D mapreduce.m

0熱

1答えて

HDFSからKuduにデータをロードする

私はKuduテーブルにデータをロードしようとしていますが、奇妙な結果を得ようとしています。私はSqoopによってインポート4個のHDFSファイルから外部表を作成したインパラコンソールで： drop table if exists hdfs_datedim; create external table hdfs_datedim (...) row format delimited fiel

0熱

1答えて

sqoopエクスポートのログサイズを減らす方法

sqoop exportによって作成されるログのサイズを制御する方法はありますか？一連のparquetファイルをhadoopクラスタからmicrosoft sql serverにエクスポートしようとしていて、マッパージョブの特定のポイントの後に進行が非常に遅くなったり凍結したりすることがあります。 hadoop Resourcemanagerを見ている現在の理論は、sqoopジョブからのログがプロ

0熱

1答えて

Sqoopのダイレクトコネクタとは何か

Sqoopジョブは、特定のデータベースのJDBCドライバとともにコネクタを使用してデータベースに接続しています。しかし、ダイレクトオプションを有効にすることでSqoopのドキュメントで述べたように、 'mode import.Howは、JDBCドライバを使用する通常のコネクタとは異なります。私はドキュメントを読みましたが、明確な理解は得られていません。 Teradata用のダイレクトコネクタもあり

0熱

1答えて

cloudera hadoop UIを使用してsqoopインクリメンタルを自動化

timestamp以外のカラム値を使用してsqoopのインポートを自動化する方法はありますか？テーブルに1列（ID）を使用しようとしました。しかし、それは動作しませんでした。以下はサンプルコードです。私はcloudera hadoop UIを使用して自動化しています。問題は、最後の値が自動的に更新されないことです。以下 import --connect jdbc:mys

0熱

1答えて

db2からのSqoopのインポートnextKeyValueのSQLException

私は、db2サーバーからsqoopのインポートをしようとしています。私は私はあなたがこれで私を助けてもらえ、次のエラー Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.j

-1熱

1答えて

Kerberosセキュリティはクーロンで働いていないとSqoop、私はエッジノードからsqoopジョブを実行する場合てGSSException

を投げ、その作業罰金とOracleからデータを抽出することができるが、私はcrontabファイルに同じジョブをスケジュールするとき、それは、Kerberosセキュリティエラーがスローされます。私は（リンクを参照してください）hortonworksサイトで報告された同じ問題を見つけましたが、任意の有効な答えを持っていません。 https://community.hortonworks.com/qu

0熱

1答えて

TRIM機能を持たないSQOOPインポートテーブルを使用できますか？

Microsoft Azure HDInsights Hadoop ClusterのOracleデータベースからHiveスキーマにデータを直接ロードするSQOOPジョブがあります。しかし、のフィールド（varchar変数など）をインポートすると、これらが文字列としてインポートされることがわかりました。これは何も間違っていないし、それは私のために完全に動作します。ただし、Hive Databaseの

0熱

2答えて

SQOOP - インポート失敗：ヌル文字列からパスを作成できません

SQOOPインクリメンタルアップデートを使用して、SQLサーバからHBaseテーブルにテーブルをロードしています。ただし、SQLテーブルのNULL値はHBaseにインポートされません。私はHbaseはnull値をサポートしていないことを理解し、nullを含むフィールドはHbaseに存在しないはずです。しかし、私の関心事は、特定の列が、レコードのいくつかに値がある場合でも、ほとんどのレコードのNUL