spark SQLがjava.lang.NoClassDefFoundErrorで失敗する：org/codehaus/commons/compiler/UncheckedCompileException

Question

JavaでSpark SQL（v2.1.0_2.11）プログラムを実行すると、すぐに次の例外が発生して失敗します。データフレームに呼び出されます。

java.lang.ClassNotFoundException: org.codehaus.commons.compiler.UncheckedCompileException 

私は​​環境の外で、Eclipseでそれを実行しました。犯人は、ライブラリcommons-compilerある

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.1.0</version> 
    <scope>provided</scope> 
</dependency> 

Answer 1

：私は、次のスパークSQL Mavenの依存関係を使用します。ここでは競合がある：

、これを回避するあなたのpom.xmlに以下を追加するには：

<dependencyManagement> 
    <dependencies> 
     <dependency> 
      <groupId>org.codehaus.janino</groupId> 
      <artifactId>commons-compiler</artifactId> 
      <version>2.7.8</version> 
     </dependency> 
    </dependencies> 
</dependencyManagement>