sqoop2

-1熱

3答えて

ハーフトープスローとのsqoopの統合ClassNotFoundException

私はhadoopとsqoopの言葉で新しくなりました。私はhadoop 2.7.3（擬似モード）をインストールし、システム上正常に動作しています。私はsqoopとの統合を望みます。私はsqoop sqoop-1.99.7-bin-hadoop200を使用しています。 1）Iは、tarファイルを抽出し、.bashrcファイルには/ usr/local/sqoop 2）セットSqoop路内に抽出され

0熱

1答えて

sqoopジョブにvcoresを設定する方法

sqoopは実行のためにどのようにvcoresを取得しますか？私は、4つのマッパーを持つsqoopジョブを提出し、利用可能な約50のvcoresがある場合でもアプリケーションは1つのvcoreから開始します。したがって、parelllizationはありません。これは、テキストファイルへのインポートsqoopジョブです。これらは、vcroreの割り当てに関する糸のコンフィギュレーションパラメタです

1熱

1答えて

Sqoopエラーは、Oracle DBからデータをフェッチするために、このsqoopコマンドを使用しますが、以下のエラーで終わるOracleウォレットに

sqoop import -D mapred.map.child.java.opts='-Doracle.net.tns_admin=. -Doracle.net.wallet_location=.' -files $HOME/wallet/cwallet.sso,$HOME/wallet/ewallet.p12,$HOME/wallet/sqlnet.ora,$HOME/wallet/tnsna

0熱

1答えて

できないがsqoop私はClouderaのマネージャーからsqoopをアンインストールし

UbuntuマシンにCDH5かかわらインストールアンインストールするために、私はまだ端子を介してsqoopバージョンを参照してください。実行しているClouderaのマネージャサービスを取り付ける [email protected]:~$ sqoop version Warning: /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin/..

0熱

1答えて

sqoopを使用してRDBMSからすべてのテーブルをインポート

sqoopを使用してmysqlデータベースのテストからhadoopにデータをインポートしようとしています。しかし、プライマリといくつかのテーブルを持ついくつかのテーブルでは、プライマリキーがありません。 $sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test -P --warehouse-

0熱

1答えて

RDBMSから選択したテーブルをsqoopでインポートする

私はsqoopを学習しています。選択したテーブルをデータベースからインポートしたいのですが、どうすればいいですか？ 1つのデータベースに1000個のテーブルがある場合は、500個のテーブルしかインポートしません。 -exclude-tablesを使用できますが、除外するコマンドラインに500個のテーブル名をすべて入力することはできません。親切に私にそれを達成する方法をお勧めしますか？

0熱

1答えて

SQOOP：ポストバックDBにエクスポートする前に入力データをカスタマイズ

入力データをhdfsからsqoopを介してpostgress dbにエクスポートします。入力データがpostgressテーブルで適切な形式になっているときにこれを実現できます。しかし、私はそれを置く前に、私は各値にいくつかのノーを追加したいと言うように、私は入力データをdbにエクスポートする前にいくつかの操作を実行したいと思います。ので、sqoopこの.. sqoopバージョンpeformす

0熱

1答えて

小さなサイズのより多くの部分にsqoop

私は10のマッパーでsqoop stmtを持っています。各データが1GBを超えると、全体のデータがハーフープで10個になります。私は、データを複数の小さなファイルに分割したいと思います。10以上のファイルは、それぞれ200MBの50個のファイルのようなものです。しかし、DBのボトルネックの問題のため、私はsqoopで10以上のマッパーを作成することはできません。簡単な解決策があれば教えてください。

0熱

1答えて

Sqoopのダイレクトコネクタとは何か

Sqoopジョブは、特定のデータベースのJDBCドライバとともにコネクタを使用してデータベースに接続しています。しかし、ダイレクトオプションを有効にすることでSqoopのドキュメントで述べたように、 'mode import.Howは、JDBCドライバを使用する通常のコネクタとは異なります。私はドキュメントを読みましたが、明確な理解は得られていません。 Teradata用のダイレクトコネクタもあり

0熱

2答えて

どのようにダイレクトモードがsqoopで動作していますか？

sqoopは、テーブル主キーまたは--split-by <columns>を使用してRDBMSからHDFSに転送します。デフォルトのマッパー数は4であると思います。しかし、--directによって、マッパーを使わずに転送を高速化することができます。私の質問は、マッパーが使用されていない場合、SqoopがHadoopフレームワークでの転送をどのように処理できるかです。