減速機の数はsqoopで

Question

sqoopにはいくつのデフォルトマッパーと減速機がありますか？ （4マッパー、0レデューサー）。

--whereまたは--queryの条件をsqoop importに使用すると、そこにはいくつのレデューサーが含まれますか？

ローカルクラスタでは、sqoopあたりユーザーガイドとして、ほとんどのデータベース・ソースから並列にSqoopインポートデータを--where or --query condition

Answer 1

を使用した後0減速を示しています。 --num-mappers

引数を使用して、インポートを実行するために使用するマップタスク（並列プロセス）の数を指定できます。デフォルトでは、4つのタスクが使用されます。あたかも集約タスクを実行していないかのように、減速タスクはゼロになります。詳細についてはhttp://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_free_form_query_imports

Answer 2

Sqoopジョブはマップです。レデューサー段階はありません。

たとえば、4つのマッパーを使用してMysqlからHDFSにsqoopをインポートすると、4つの同時接続が生成され、データの取得が開始されます。 4マッパージョブが作成されます。データはHDFSパーツファイルに書き込まれます。減速ステージはありません。