2

問題使用してカサンドラ3.0を接続できません - 私はスパーク1.5から使用してカサンドラ3.0を接続しようとした - スパークカサンドラコネクタに1.5.0スパークカサンドラコネクタ1.5.0

背景を使用してカサンドラ3.0を接続することができません。提供スパークカサンドラコネクタ1.5.0を使用したが、私はエラーの下に取得していますによって0 - DataStaxスパークカサンドラコネクタdocumentを1として

、それはスパークコネクタ1.5は、スパーク1.5.0/1.6からカサンドラ3.0に使用することができることを言います.0。

ここには何も足りないのですか?私は

  • をスパークストリーミングからグアバ依存性を排除しようとしたコアジャー

    1. アプローチを試みた

      は "のpom.xml" に

    を別々のグアバの依存関係を追加しました前もって感謝します。


    16/04/26 09:45:07 WARN TaskSetManager: Lost task 4.0 in stage 1.0 (TID 16, ip-172-31-23-23.ec2.internal): java.lang.ExceptionInInitializerError 
        at com.datastax.spark.connector.cql.DefaultConnectionFactory$.clusterBuilder(CassandraConnectionFactory.scala:35) 
        at com.datastax.spark.connector.cql.DefaultConnectionFactory$.createCluster(CassandraConnectionFactory.scala:87) 
        at 
    --- 
    -- 
    Caused by: java.lang.IllegalStateException: Detected Guava issue #1635 which indicates that a version of Guava less than 16.01 is in use. This introduces codec resolution issues and potentially other incompatibility issues in the driver. Please upgrade to Guava 16.01 or later. 
        at com.datastax.driver.core.SanityChecks.checkGuava(SanityChecks.java:62) 
        at com.datastax.driver.core.SanityChecks.check(SanityChecks.java:36) 
        at com.datastax.driver.core.Cluster.<clinit>(Cluster.java:67) 
        ... 23 more16/04/26 09:45:07 WARN TaskSetManager: Lost task 4.0 in stage 1.0 (TID 16, ip-172-31-23-23.ec2.internal): java.lang.ExceptionInInitializerError 
        at com.datastax.spark.connector.cql.DefaultConnectionFactory$.clusterBuilder(CassandraConnectionFactory.scala:35) 
        at com.datastax.spark.connector.cql.DefaultConnectionFactory$.createCluster(CassandraConnectionFactory.scala:87) 
        at com.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$createSession(CassandraConnector.scala:153) 
        at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$2.apply(CassandraConnector.scala:148) 
        at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$2.apply(CassandraConnector.scala:148) 
        at com.datastax.spark.connector.cql.RefCountedCache.createNewValueAndKeys(RefCountedCache.scala:31) 
    
  • 答えて

    0

    コネクタに同梱グァババージョン、及びスパークと共に出荷1との間の既知の競合があります。どのようにグアバの図書館を陰影にしようとしましたか?

    は、あなたのbuild.sbtファイルに以下を追加してください:

    assemblyShadeRules in assembly := Seq(
        ShadeRule.rename("com.google.**" -> "[email protected]").inAll 
    ) 
    
    関連する問題