Datastax EnterpriseでCassandraを使用しないでSparkを起動する方法

Question

私は最近、5ノードクラスタにDataStaX Enterprise（v5.0）をインストールしました。私はsparkとして3ノードを使用し、cassandraマルチノードクラスタとして2ノードを使用する予定です。今

私は私のスパーク・ノードで火花を起動しようとするたびに -

私は次のエラーを取得する - スレッド「メイン」にjava.io.IOExceptionで

sudoのDSEスパーク 例外：ネイティブのオープンに失敗しました9042 com.datastax.spark.connector.cql.CassandraConnector $ .COM $ datastax $スパーク$コネクタで$ CQL $ CassandraConnector $$のCreateSession（CassandraConnector.scala：160）

{127.0.0.1}でカサンドラに接続

なぜキャンドラを探しているのですか？ DSEでcassandraなしで火花を始める方法はありませんか？

DSE内のconfファイルは、私はその火花が別のノード（およびない127.0.0.1:9042でローカルに実行されている1）上で実行されているカサンドラに接続しているので、変更する必要があります。また

Answer 1

あなたは現在（5.0）はDSEを起動することはできません。カサンドラのないノード。しかし、あなたがカサンドラを始める必要があるからといって、あなたがそれを使わなければならないというわけではありません。ネットワークトポロジストラテジーを常に使用していることを確認するだけで、DSEはゴシップとスキーマ情報のためにこれらのマシンでC *のみを使用します。

また、注記のために dse sparkは、スパークシェルを開始するだけです。 Spark MasterおよびWorkerインフラストラクチャは起動しません。