こんにちは、HADOOP
でトレーニングを受けています。私はsqoop
を使用して、オラクル(ウィンドウ、11g xe)からhdfs
にテーブルデータをインポートする必要があるタスクがあります。私は次の記事を読んでいます。私の質問は、どのように私は正確にhdfsにウィンドウからデータをインポートすることです。 Noramally私はWinscp
を使用して、Windowsからhdfsマシンにファイルを転送します。 hdfs(cdh3)マシンにインストールされたMySql
のデータをインポートしました。しかし、WindowsのOracleからhdfsにデータをインポートする方法はわかりません。助けてください。sqoopを使用してOracle(Windows)からHDFS(CDH3)マシンにデータをインポート
答えて
ローカルマシンへのOracleからデータをインポートする必要はありません。その後、HDFSマシンにコピーします。その後、HDFSでインポートします。
Sqoopここでは、RDBMSテーブルをHDFSディレクトリにインポートします。
Useコマンド:
sqoop import --connect 'jdbc:oracle:thin:@192.xx.xx.xx:1521:ORCL' --username testuser --password testpassword --table testtable --target-dir /tmp/testdata
詳しくは、sqoop docsをご確認ください。続き
私はバックアップを取って、CDH3マシンでこのバックアップファイルをWinscpを使ってコピーし、次にsqoopをHDFSでプルする必要があります。私は正しいですか? – user2998990
@ user2998990いいえいいえ。何もコピーする必要はありません。 sqoopはすべてを行います。 oracleに有効な資格証明を入力するだけです。 –
@ user2998990更新された回答を確認する –
は段階的なプロセスです:
.ConnectのOracle SQLコマンドラインは、あなたの資格情報を使用してログイン:
例えばユーザー名:システムパスワード:システム
(必ずこのことを確認しますユーザーはすべての特権を持つ新規ユーザーを作成します)。そのユーザの下の表を食べて、いくつかの値を挿入し、我々はHDFSへのOracleから我々のデータを転送するためのコネクタを必要とする.Now は
をコミットします。 そこで、我々は、Oracle -sqoopコネクタのjarファイルをダウンロードし、CDH3の次のパスに配置する必要があります。(あなたのコマンドで使用するsudoのそれは、Linuxで管理アセスを必要とするため、次のパスにコピーしている間に)
/usr/lib/sqoop/bin
http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html - ダウンロードリンク - ojdbc6.jar
ダウンロードしたjarをWindowsからCDH3に転送するには、winscpを使用します。その後、CDH3の上記のパスに移動します。
。コマンド:
sudo bin/sqoop import –connect jdbc:oracle:thin:system/[email protected]:1521:xe–username system -P –table system.emp –columns “ID” –target-dir /sqoopoutput1 -m 1
sqoopoutput Uはあなたの
-m 1に従ってDISを変更することができ、あなたのデータを取得しますHDFSでの出力に含まファイルではありません:これは、ここでは、このsqoop仕事のためにマッパーのない番号を伝えますそれは1
192.168.XX.XXです:1521 - Windowsマシン
- 1. flumeを使用してOracle 11gデータをHDFSにロード
- 2. Sqoop 1.99.6でデータをインポート
- 3. HDFSからHiveへのSqoopデータの移動
- 4. エラー:hdfsにレコードを追加するsqoop
- 5. sqoopからhive/hdfsをsybase IQデータベースにエクスポート
- 6. oracleからmysqlにデータをインポート
- 7. eclipseを使用してWindowsマシンからUNIXマシン上のリモートC開発
- 8. SqlBulkCopyクラスを使用してSQLiteからSQL Serverにデータをインポート
- 9. JAVAを使用してHDFSからローカルファイルシステムにファイルをコピーする
- 10. d3.jsを使用して.csvからデータをインポートする
- 11. Javaソースコードを使用してMS Excelからデータをインポート
- 12. WindowsからLinuxにファイルをコピーするPythonを使用しているマシン
- 13. SQOOPを使用してHIVEからデータをエクスポートした後にSQL Serverでトリガを起動する方法
- 14. FileUploadを使用して.CSVからSQLにデータをインポートしますか?
- 15. Oracleマシンの整数データ型
- 16. 1つのファイルから複数のOracle表にデータをインポート
- 17. Pythonを32ビット用Windows XPを64ビットWindows 7マシンからpy2exeを使用
- 18. PowerShellを使用してWindowsマシンにNTPサーバーを設定する
- 19. C#を使用してOracleからJSONにBase64データを取得する
- 20. マクロを使用してExcelからSharePointにデータをインポートする方法
- 21. SSISを使用してExcelから複数のテーブルにデータをインポートする
- 22. Ubuntu 10.10を使用してMySqlからSolrにデータをインポートできない
- 23. C#を使用してオーディオCDからデータをインポートするには?
- 24. Windowsでコマンドラインからmysqldumpを使用してSQLファイルをインポートする方法
- 25. データ変換を使用してフラットファイルからSQL Server 2005にインポートする方法
- 26. s3distcpを使用してamazon s3からhdfsにファイルをコピーできない
- 27. Oracleデータ・ポンプ・エクスポート・ユーティリティを使用してローカル・マシンにダンプ・ファイルを作成する方法は?
- 28. hdfs-site.xmlのプロパティを変更した後でも、Sqoopがデータをインポートしますが、複製の問題があります
- 29. C#でWindows Mobile AppからExcelにデータをインポートする方法
- 30. Sqoop hdfsからmysqlへの特定の列のエクスポートが正しく行われていません
のIPアドレスは、カスタム構築されたのHadoop環境を使用するか、CDHまたはHDPまたはその他のような任意の既製のフレーバーを使用していますか? – SrinivasR