sqoopインポートを使用してMysqlからデータをインポートしたいが、私の要件は4つのマッパーを使用したいが、hdfsターゲットディレクトリに1つのファイルのみを作成するこれを行う方法?複数のマッパーでsqoopインポートを使用して単一ファイルを作成する方法
0
A
答えて
2
No. sqoopにファイルを1つのファイルに再パーティション化するオプションはありません。
私はこれがsqoopの頭痛であるとは思わない。
hadoopの機能getmergeを使用すると簡単に行うことができます。例:ここでは
hadoop fs -getmerge /sqoop/target-dir/ /desired/local/output/file.txt
/sqoop/target-dir
は、あなたのsqoopコマンド(すべての部品ファイルを含むディレクトリ)のtarget-dir
です。desired/local/output/file.txt
は、単一のファイルです。
0
--num-mappers 1
をsqoopするには、このオプションを追加sqoopログを示しています。一つのファイルが作成され、HDFS上の
Job Counters
Launched map tasks=1
Other local map tasks=1
そして最後に。
関連する問題
- 1. Sqoop java apiを使用してデータをインポートする方法は?
- 2. チャットアプリケーションで単一のクライアントを使用して複数のソケットを作成する
- 3. 単一のビルドファイルを作成してプロジェクトのjarファイルを作成する方法
- 4. reduce式で.unionAll()を使用して単一のデータフレームを作成する方法
- 5. 単一のソースファイルから複数のファイルを作成する
- 6. マッパーの単一出力で複数のレデューサーを実行
- 7. 複数のファイルStruts 2の単一ファイルタグを使用してアップロード
- 8. sqoopインポート--query argumrntを使用
- 9. libgdxの単一メッシュを使用してキューブを作成する方法
- 10. ES6で単一ファイルのVueコンポーネントを作成する方法は?
- 11. 単一のカスタムアクションプロジェクトで複数のC++カスタムアクションを作成する方法は?
- 12. FPDFを使用してfpdf(単一ファイル)を生成する方法
- 13. JavaScriptファイルを使用して複数のテーブルを作成する
- 14. Perlを使用して複数のCSVファイルを作成する
- 15. ASP.Net - 単一データテーブルを使用してカスケードDropDownListsボックスを作成する方法
- 16. 複数リクエストのジャージクライアントの単一インスタンスの作成方法
- 17. Visual Studioで単一アプリケーション用に複数のプロジェクトから単一インストーラを作成
- 18. 複数のファイルを単一のレスポンスでクライアントに返す方法
- 19. OpenPyXLを使用して複数のExcelファイルをインポートする
- 20. ajaxを使用してファイルをアップロードして単一フォームでフォームを作成
- 21. Javaを使用して単一のJSONファイルで複数のJSONドキュメントを読み取る方法は?
- 22. xdocreportでodtを使用して単一のpdfで複数のレポートを生成
- 23. Cでスレッドを使用して一時ファイルを作成する方法#
- 24. PythonでPandasを使用して一連の数値を作成する方法
- 25. 複数のキークエリにDynamoDBマッパーを使用
- 26. 複数のJARファイルの単一のexeファイルを作成するには?
- 27. applescriptを使用して一度に複数のファイルを編集する方法
- 28. Silverlightでwcfを使用して単一のブラウザウィンドウで複数の接続を作成する
- 29. 複数のプラットフォームで実行する単一のJenkinsプロジェクトの作成方法
- 30. 同じ関数を使用して複数のUIViewを作成する方法
[フェーズ後に出力ファイルをマージする]の可能な複製(http://stackoverflow.com/questions/5700068/merge-output-files-after-reduce-phase) –