Spark Javaプログラムを実行できません

Question

Javaで書かれたSparkプログラムを実行しています&サンプルワードカウントの例を使用しています。 jarファイルを作成しましたが、スパークジョブを送信しているときにエラーが発生しています。

$ spark-submit --class WordCount --master local \ home/cloudera/workspace/sparksample/target/sparksample-0.0.1-SNAPSHOT.jar 

私はあなたが助けることができるように、私はまた私のpom.xmlを追加してい以下のエラー

java.lang.ClassNotFoundException: wordCount 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:270) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:689) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

に編集 を取得しています。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
    <modelVersion>4.0.0</modelVersion> 
    <groupId>com.igi.sparksample</groupId> 
    <artifactId>sparksample</artifactId> 
    <version>0.0.1-SNAPSHOT</version> 
    <dependencies> 
    <dependency> <!-- Spark dependency --> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-core_2.10</artifactId> 
<version>1.6.0</version> 
<scope>provided</scope> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-client</artifactId> 
    <version>2.6.0</version> 
</dependency> 
</dependencies> 
</project> 

Answer 1

多くの組み合わせを試した後、ビットをしてR &私は私の問題を解決した。 発行コマンドを送信する私の火花にいた私は、この

spark-submit --class com.xxx.sparksample.WordCount --master local /home/cloudera/workspace/sparksample/target/sparksample-0.0.1-SNAPSHOT.jar 

にそれを変更し、それが働きました。

Answer 2

WordCountクラスが見つかりません。つまり、あなたは、おそらくクラスが含まれているパッケージを含める必要があるので、あなたは完全なクラスパスを持っている：あなたが投稿

--class <PACKAGE>.WordCount

Answer 3

エラーがスパークに問題が表示されません。

ただし、プログラムに入力ミスがある必要があります。 Javaはを探してClassNotFoundExceptionを投げました。ここでは、大文字のWがWordCountとなります。

クラスとインポートの名前を確認してください。

Answer 4

​​に渡すクラス（ワードカウントまたはワードカウントなど）の名前が、定義したものとまったく同じであることを確認してください。
梱包が正しいことを確認してください。
確認するには、jarファイルを開いて解凍し、クラス名とパッケージ階層を確認します。