apache-sqoop

0熱

1答えて

HDP 2.4のhortonworksサンドボックスでは、Sqoopバージョン1.4.6.2.4.0.0-169を使用しています。私はsqoopコマンドを実行すると、私はエラーの下に取得しています： sqoop import --connect jdbc:mysql://127.0.0.1/test --username root --password test --table details

0熱

1答えて

sqoop増分はマージキーで最後に変更されました

更新されたレコードをHDFSにインポートしようとしています。以前私はHDFSに3つの部分ファイルを持っていました。私が下のツールを実行すると、マージキーが必要であるというエラーが出ました。しかし sqoop import --table employee --username training --password training --connect jdbc:mysql://localhost

1熱

1答えて

hdfsからsqlへデータを移動

私のセットアップをテストして、hdfsのデータをsql DBに移動する必要があります。つまり、mapreduceジョブが完了すると、ActivMQメッセージが送信されます。 Sqoopを使ってActivMQメッセージを受け取ったら、自動的にsqlに移動する必要があります。これを達成する方法を手助けできる人もいます。 MQ & Sqoopが一緒に動作するかどうかを誰かに教えてもらえますか？は

0熱

1答えて

mixとmaxを使ってデータを分割する理由は何ですか？

私はそれが基本的にこのロジックを使用して、Sqoopはマッパーの間で作業を分割する方法を知っている：（= 1（1）mytableはSELECT * FROM）T1から MIN（ID）を選択し、MAX（ID）ここで、idは--split byで定義された値です。私は--boundary-queryを使って別のロジックを使ってこのロジックを変更できることも知っています。たとえば、キー列の値が均一に

0熱

1答えて

sqoopのインクリメンタルアップデート

こんにちは、sqoopコネクタ経由でMySQLからhdfsにデータをロードしました。既存のデータ間の行が更新された場合、sqoop内の既存の行のデータ値を更新するためのクエリはありますか？私はインクリメンタルアップデートについて知っていますか？インクリメンタルアップデートでは既存のローもアップデートされますか？私はsqoopを初めて使っていますか？

0熱

2答えて

sqoopで複数の条件を指定するにはどうすればよいですか？

Sqoopバージョン： Invalid column name '7/22/2016' ：私は次のエラーを取得する sqoop import -libjars /usr/local/bfm/lib/java/jConnect-6/6.0.0/jconn3-6.0.0.jar --connect jdbc:sybase:db --username user --password 'pwd' --

0熱

3答えて

scoopを使ってデータをインポートできません：exitCode = 255

私はhadoop sparkのnoobです。私はhadoop/sparkクラスタ（1 namenode、2 datanode）をセットアップしました。私はスクープのインポートを実行したときに hdfs dfs -put <local file path> <hdfs path> しかし：今、私はHDFSでスクープを使用してDB（MySQLの）からデータをインポートしようとしていますが、そのは常

0熱

1答えて

ClouderaでSqoopを使用してCassandraにデータをインポートすることはできます

Hadoopエコシステムの多くの部分の1つは、SQOOPです。このSQOOPは、dbmsからデータを取得し、Hadoopにロードすることです。私はsqoopコンポーネントがデータをインポートするためにCassandraにも存在することを知っているので、CassandraにデータをインポートするためにClouderaが提供するSQOOPを使用できるかどうか疑問に思っていました。重要な変更が必要な場合

1熱

2答えて

Sqoopリストデータベースには--connection-managerが必要です

importが動作していますが、Hortonworks Sandbox HDP 2.4を使用しており、list-databasesツールを使用することはできません。私は応答 16/08/11 07:44:47 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate con

4熱

1答えて

パスワードをパスワードファイルに保存する方法

パスワードをファイルに保存する場合は、&後でsqoopコマンドで同じものを使用してください。 sqoopの文書によると、--password-fileオプションを使用すると、パスワードを保存することができます。だから私はパスワードabcのテキストだけでpwdファイルに格納されています。 &は以下のコマンドにヒットします。私はそれが私のために正常に動作します-pオプションを使用して同じ操作を実行する