sqoop

0熱

3答えて

私はHadoop-1.2.1とSqoop-1.4.6を使用しています。それはこのエラーを示し、 `sqoop import --connect jdbc:mysql://localhost/meshtree --username user --password password --table test` ：しかし 17/06/17 18:15:21 WARN tool.BaseSqoopTo

0熱

1答えて

AWS EMR 5.5.0にSqoop 1.4を手動でインストール

私はhadoop EMRクラスタ（5.5.0 - コンポーネント - Hive、Hue）を起動しましたが、SQOOPは起動していません。しかし、今私はmysqlデータベースからクエリとダンプデータをsqoopする必要があります。クラスタはすでにデータ量の多い状態で起動しているので、Sqoopを追加できるかどうかを知りたがっています。 AWS Consoleではこのオプションが表示されません。私は必

0熱

2答えて

どのようにダイレクトモードがsqoopで動作していますか？

sqoopは、テーブル主キーまたは--split-by <columns>を使用してRDBMSからHDFSに転送します。デフォルトのマッパー数は4であると思います。しかし、--directによって、マッパーを使わずに転送を高速化することができます。私の質問は、マッパーが使用されていない場合、SqoopがHadoopフレームワークでの転送をどのように処理できるかです。

0熱

1答えて

インデックスが範囲外です：JDBC SqlServer例外

SQLサーバからローカルHDFSにデータをインポートするのにSqoopを使用しています。私は簡単なフリーフォームのクエリを使用してテーブルから約10行を引っ張っています。以下は、私は、端末から実行するsqoopコマンドは次のとおりです。 sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx;username=xx;password=xxxxx;d

0熱

1答えて

Sqoop ORACLE SSL JDBCネットワークアダプタがTCPSプロトコルを使用して接続を確立できませんでした

SSL接続を使用して、ORACLE DBからHDFSに（SQOOP）テーブルデータをインポートしようとしました。私が使用 Sqoopコマンドは、以下の通りである sqoop import -Djavax.net.ssl.trustStore=/app/Wallets/client_wallet/ewallet.p12 -Djavax.net.ssl.trustStoreType=PKCS12 -D

1熱

1答えて

Sqoopインポートが--target-dirの代わりに動作していないデフォルトのディレクトリに

Sqoopインポートスクリプトをファイルを配置します sqoop import --connect jdbc:mysql://localhost/retail_db --username root --password cloudera --target-dir /user/cloudera/retail_db/products_test --table products --hive-impor

1熱

2答えて

bigintをdatetimeに変換するにはどうすればいいですか？

sqoop importコマンドを使用して、teradataからHiveにデータをsqoopしました。テラデータ内のテーブルの1つに、日付フィールドがあります。 sqoopingの後、私の日付フィールドは、bigintデータ型を持つタイムスタンプとして表示されます。しかし、私はハイブテーブルの日付データ型として日付フィールドが必要です。誰でもこれを達成するために私を提案できますか？

0熱

1答えて

生産と開発のためのJenkinsパイプラインのデプロイ

私は開発用の自動化に取り組んでおり、sqoopジョブを使って各タイプの特定のサーバーにscpedする必要があります。これらのジョブでは、各sqoopジョブに関連付けられたスクリプトはdevとprodに基づいて変更する必要があります。現在のところ、devとprodフォルダを含むgit repoがあり、承認されたdevの変更はprodフォルダに置かれますが、変数（devデータベースとprodデータベー

0熱

3答えて

SQOOPインポートストアデータをHDFSにないローカルファイルシステム

mysqlからhdfsにデータをインポートしようとしていますが、hdfsにない/home/<user>/<tablename>フォルダにそのストアデータをインポートしています。 sqoop import -fs local \ -jt local \ -libjars /tmp/sqoop-amar/compile/00992af844025da3f2ee7d83cb03a6b

1熱

1答えて

エラー：クラスorg.xerial.snappy.Snappyを初期化できませんでした

圧縮としてsnappyCodec、ファイル形式としてavroを使用して、sqoop 1.4.6を使用してRDBMSからhdfsにデータをインポートしています。私は次のように使用してHDFSにMySQLのテーブルをインポートしようとすると私は、次のコンポーネントがのHadoopに2.8.0 スパーク2.1.0 ハイブ1.2.2 スカラ座2.11.8 カサンドラ3.10 がインストールされていますコ