Cassandraテーブルからデータを読み込む方法

Question

私はSparkバージョン：2.0.1とCassandra 3.9で作業しています。私はCassandraSQLContextによって、cassandraのテーブルからデータを読み込みたいと思います。しかし、Spark 2.0が変更され、sparkSessionが使用されました。私はsparkSessionを使用しようとしていて、私は幸運です。以下は私のコードです。

ご意見をお聞かせください。

def main(args: Array[String], date_filter: String): Unit = { 
    val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost") 
    val sc = new SparkContext(conf) 
    val sparkSession = SparkSession.builder 
     .master("local") 
     .appName("my-spark-app") 
     .config(conf) 
     .getOrCreate() 
     import sparkSession.implicits._ 
     import org.apache.spark.sql._ 
    val rdd = sparkSession 
     .read 
     .format("org.apache.spark.sql.cassandra") 
     .options(Map("table" -> "users", "keyspace" -> "monita")) 
     .load() 
     println("count: " +rdd.count()) 

    } 

Answer 1

コードは正常です。 SCを作成する必要はありません。以下のように設定でCassandra接続プロパティを設定できます。

val sparkSession = SparkSession 
    .builder 
    .master("local") 
    .appName("my-spark-app") 
    .config("spark.cassandra.connection.host", "127.0.0.1") 
    .config("spark.cassandra.connection.port", "9042") 
    .getOrCreate()