のHadoop：私は、カスケードジョブを実行したときに、スプリットメタデータサイズは10000000

Question

を超えて、私はエラーを取得する：

Split metadata size exceeded 10000000 

私は

xxx.jar -D mapreduce.job​.split.metainfo.maxsi‌​ze=30000000 

をコマンドラインには、以下のを渡すことで、ジョブごとにレベルの上限を増やすしよう

私も

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=30000000 

を試みたが、両方のは、私はまだ同じエラーを取得し、動作しませんので、引数はありませんです摘んだ。私はhadoop 2.5を使用しています。誰でも私が間違ったことを指摘できますか？

Answer 1

あなたはconf/mapred-site.xmlで次のプロパティを設定してみること：

<!-- No limits if set to -1 --> 
<property> 
    <name>mapreduce.jobtracker.split.metainfo.maxsize</name> 
    <value>-1</value> 
</property> 

ない次は、（それに打撃を与える）に役立つかどうかわから

xxx.jar -D mapreduce.jobtracker​.split.metainfo.maxsi‌​ze=-1 

参考：https://archive.cloudera.com/cdh/3/hadoop/mapred-default.html

| Name          | Default Value | Description                                                     | 
|---------------------------------------------|---------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| 
| mapred.jobtracker.job.history.block.size | 3145728  | The block size of the job history file. Since the job recovery uses job,history, its important to dump job history to disk as soon as possible.,Note that this is an expert level parameter. The default value is set to,3 MB | 
| mapreduce.jobtracker.split.metainfo.maxsize | 10000000  | The maximum permissible size of the split metainfo file. The JobTracker,won't attempt to read split metainfo files bigger than the configured,value. No limits if set to -1.             |