sqoop

0熱

1答えて

TeradataからハイブへのSqoopデータがタイムスタンプ列の1つのデータの不一致に直面していて、2017-03-12 2：00：00：00と2017の間のタイムスタンプ-03-12 3：00：00：00。私は内部的に時間変換を行っていると思う。私たちは、タイムスタンプの変換を避けることができます。テラデータからファイルへの変換も同じ問題です。テラ-2017-03-12 2時03分55秒

2熱

1答えて

Sqoopを使ってMySQLからPIGにデータをロードする

私はSqoopとPIGを試しているので、SqoopはMySQLからデータを取得してHDFSリポジトリに入れた後、 PIGを使用して達成される。その代わりに、私は豚から直接MySQLテーブルを読むことができるかどうかを知りたいと思います。あなたの答えがイエスである場合は、サンプルスクリプトを共有してください。ありがとう、私は感謝します。

0熱

2答えて

インポート時に特定の列をNULL値にマッピングする

一部の列をインポート時にnullのプレースホルダに変換するにはどうすればよいでしょうか？マップ列機能を使用できますか？ Argument Description --map-column-java <mapping> Override mapping from SQL to Java type for configured columns. --map-column-hive <mappin

0熱

1答えて

Sqoopは、私はHadoopのに新しいですエラー

悪い置換は、以下のsqoopコマンドを実行しようとして与える-ファイルは--password： sqoop import --connect jdbc:mysql://localhost:3306/vaibhav --table employees --username root --password-file ${user.home}/.password.txt --target-dir /da

0熱

1答えて

履歴負荷中にデータをチャンクにロードするSqoop

過去の負荷をかけながらチャンク内のデータを並べ替える方法を理解しようとしています。私は3年のデータを持ち、sqoopをトリガすると、すべてのデータを一度にフェッチしてHDFSをプッシュするシナリオを考えてみましょう。私はクラスターに圧力をかけるのを避けたいのですが、上記の代わりに3年分のデータを一度に読み込むのではなく、1か月のチャンクでデータをロードするようにsqoopに指示する方法がありま

1熱

1答えて

はSqoop

を使用して暗号化されたデータを可能なこのユースケースでの転送しますか？

1熱

1答えて

ヘッダ付きCSVファイルからのテーブル作成

テーブルを手動で作成せずに、ヘッダ（100+カラム）を含む大きなcsvファイルをMySQLにインポートしたいとします。私は、MySQL WorkbenchからSqoopやその他のHadoopツールまで、あらゆるツールを使用する準備が整いました。解決策を検索しようとしましたが、適切な回答が見つかりませんでした。

0熱

2答えて

エラーORA-01843

をSqoopためにテーブルをインポートするときに、私はすでにOracle DBからそのテーブルのスライスをインポートし、今、私のHadoopクラスタのHDFS54万行を持つテーブルをインポートし、そしてきた[私はビューを作成しました。短期間で選択しました。 260K行のみ] 、私は下のエラーを取得していもたらし：使用 Error: java.io.IOException: SQLExceptio

0熱

1答えて

sqoolを使用した2つの（PL）/ SQLクエリ

sqoop 1.4.6を使用してOracleデータベースからHDFSにデータをインポートしようとしています。 --table table_nameまたは--query SELECT <...>ステートメントを使用して、HDFSまたはハイブテーブルへの単純なインポートを実行するのに問題はありません。私の質問：あるPL/SQLプロシージャを最初に実行してテーブルをインポートする方法はありますか？た

0熱

1答えて

Sqoop oracle接続の問題

oracleデータベースに接続してレコード数を確認しようとしています。 Scenario-1: [[email protected] ingestion]$ sqoop eval --connect jdbc:oracle:thin:@//hostname_1:PORT_1/Service_1 --username USER --password PASSWORD --query 'se