java.io.IOException：ジョブが失敗しました！私のosxでサンプルアプリケーションを実行しているときにhadoop-0.19.1

Question

 
bash-3.2$ echo $JAVA_HOME 
/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home 
bash-3.2$ bin/hadoop dfs -copyFromLocal conf /user/yokkom/input2 
bash-3.2$ bin/hadoop jar hadoop-*-examples.jar grep input2 output 'dfs[a-z.]+' 
09/04/17 10:09:32 INFO mapred.FileInputFormat: Total input paths to process : 10 
09/04/17 10:09:33 INFO mapred.JobClient: Running job: job_200904171309_0001 
java.io.IOException: Job failed! 
     at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232) 
     at org.apache.hadoop.examples.Grep.run(Grep.java:69) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.hadoop.examples.Grep.main(Grep.java:93) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
     at java.lang.reflect.Method.invoke(Method.java:597) 
     at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68) 
     at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141) 
     at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:61) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
     at java.lang.reflect.Method.invoke(Method.java:597) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:165) 
     at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) 
     at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68) 

これはどうして起こるのでしょうか？同じ仕事は、Linuxマシン上で完璧に動作します。 「ジョブが失敗しました」が発生すると、Hadoopクラスタ全体が応答を停止します。

私のMacOSのバージョンは10.5.6です。

EDITのHadoop-0.20.1

Answer 1

ため、同じ結果、私はそれのためにGoogleで検索して（正確に同じラインで）同じエラーが前に起こりました。それについてhereとhereをお読みください。

2番目のリンクは、次のことを示唆している：

• 削除のconf/log4j.properties（-Xmsと-Xmxスイッチを使用して）ヒープメモリを増やすようにしてください詳細レポート
• を見るために

Answer 2

ええ、grepは、特に大きなデータセットでメモリを吸い上げることができます。あなたの入力はどれくらいですか？ところで、Permメモリもあります。

http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp

のOutOfMemoryにカスタム動作を実行するために、いくつかの興味深いのスイッチは、しかし、私はそれをVMに到達する前にjobRunnerだけで、すべてをキャッチされた疑いがあります。デバッグするには別の方法が必要な場合があります。