2016-08-01 8 views
0

私は基本的に.netプログラマです。私はSPARKとCassandraでデータを分析することに任されています。私はSPARKで動作するようにC#APIを探していましたが、私はMobiusを見つけました(私はJAVAを知らないので)。私はGitHubからMobiusプロジェクトをダウンロードし始めました.Windows用のビルドごとに、私は上記の手順に従いましたが、動作させることはできませんでした。私はそれに関して以下の質問をします。Window環境でMobiusをインストールする際に問題がありますか?

1)私はCassandraとSPARKが利用できるUbuntuマシンにDataStaxエンタープライズを持っています(スタンドアロン)。今度は私の.NETプロジェクトからSPARKに接続して、カサンドラのデータを処理したいと思います。私がそれをすることは可能ですか?私はデバッグモードでそれをしたいですか?私はSPARK-SQLを使用して作業していますが、私はSQLで快適です。

2)WindowsマシンにSOLRとSPARKをインストールしてMobiusを動作させる必要がありますか? Windows SPARKとMobiusからCASSANDRA(Ubuntuマシン)に接続できますか?

3)私はCSharpBackendPortNumberの値を取得するためのコマンド「sparkclr-submit.cmdデバッグ」を実行すると、私は「負荷火花env.cmdが」不足しているというエラーを取得しています。このファイルはどこにありますか?CSharpBackendPortNumberの値はどのように取得されますか? WindowsマシンにSPARKが必要ですか?

答えて

0
  1. LinuxでYARNベースのSparkクラスタに接続するためにWindowsクライアントを使用することは、Mobiusのサポートされた/検証されたシナリオです。スタンドアロンのLinuxベースのSparkクラスタでMobius用のWindowsクライアントを使用しようとしたことはありません。 LinuxマシンをMobiusクライアントとして使用して、Mobiusの基本機能を最初に検証することをお勧めします。

  2. メビウスはSolrを必要としません。どのOSにも導入されているCassandraに接続するには、Mobiusを使用できるはずです。

  3. load-spark-env.cmdは、Sparkリリースの一部です。 sparkclr-submit.cmdを実行する前にSPARK_HOME環境変数を設定する必要があります

関連する問題