2016-08-19 7 views
0

3ノードクラスタでAmbariとHDPを使用しています。私はサンプルコード(link)を使用してSparkからHbaseテーブルにデータを保存しようとしましたが、私の仕事は失敗しました。私が使用しHBaseとSpark - テーブルへの書き込み中にNullPointerExceptionが発生しました

コマンド:

spark-submit --master yarn --deploy-mode client \ 
--jars spark-examples-1.6.0.2.4.0.0-169-hadoop2.7.1.2.4.0.0-169.jar,\ 
hbase-common.jar, hbase-client.jar, hbase-server.jar, hbase-protocol.jar\ 
example.py 172.16.7.33 test row2 cols q1 value1 

エラー:
link

私はHBaseのシェルを実行してmanualyテーブルに行を追加することができます。私は何かHbaseの設定(RegionServers?)に間違っていると思う。インスタレーション後、AmbariはRegionServersに接続できませんでした。私はHbaseを再起動しましたが、今は大丈夫です、アラートはありません。

誰かが私を助けることができますか?ありがとう。

HBase ver。 1.1.2、Spark ver。 1.6(どちらもアンバリ経由でインストール)

答えて

1

あなたのクラスパスにHBase設定がありますか、またはあなたが動物園のノード(ローカルホスト)にいるために幸運にも飼い主にぶつかっていますか?

私たちのサンプルコードサイトに興味のある方は、HBaseを使ったSpark Streamingの例がいくつかあります。

https://github.com/splicemachine/splice-community-sample-code

あなたは私はあなたの設定がパスやHBaseの上ではありません疑うメタが割り当てられた領域を持っていない得ることができないので、私はすべてのノードで飼育係を持って

+0

...、私を知ってみましょう。 hbase-site.xmlには定義されています。 HbaseのマスターUIで私の地域を参照して、私は自分のUIに接続することができます。クラスパスを設定するには? jarファイルを追加するだけでは不十分ですか? – ABla

+0

遅れて申し訳ありません... Spark Executorは、そのパスにhbase-site.xmlが必要です。このparamを試してくださいspark.executor.extraclasspath ... –

+0

最後に、私はこの問題を解決する時間がありませんでした。あなたは正しいです、私はパスにhbase-site.xmlを与えなければなりませんでしたが、spark.executor.extraclasspathと '--driver-class-path'は私のためには機能しませんでした。私は '--jars'を使ってhbase-site.xmlへのパスを追加しました。ありがとう! – ABla

関連する問題