3ノードクラスタでAmbariとHDPを使用しています。私はサンプルコード(link)を使用してSparkからHbaseテーブルにデータを保存しようとしましたが、私の仕事は失敗しました。私が使用しHBaseとSpark - テーブルへの書き込み中にNullPointerExceptionが発生しました
コマンド:
spark-submit --master yarn --deploy-mode client \
--jars spark-examples-1.6.0.2.4.0.0-169-hadoop2.7.1.2.4.0.0-169.jar,\
hbase-common.jar, hbase-client.jar, hbase-server.jar, hbase-protocol.jar\
example.py 172.16.7.33 test row2 cols q1 value1
エラー:
link
私はHBaseのシェルを実行してmanualyテーブルに行を追加することができます。私は何かHbaseの設定(RegionServers?)に間違っていると思う。インスタレーション後、AmbariはRegionServersに接続できませんでした。私はHbaseを再起動しましたが、今は大丈夫です、アラートはありません。
誰かが私を助けることができますか?ありがとう。
HBase ver。 1.1.2、Spark ver。 1.6(どちらもアンバリ経由でインストール)
...、私を知ってみましょう。 hbase-site.xmlには定義されています。 HbaseのマスターUIで私の地域を参照して、私は自分のUIに接続することができます。クラスパスを設定するには? jarファイルを追加するだけでは不十分ですか? – ABla
遅れて申し訳ありません... Spark Executorは、そのパスにhbase-site.xmlが必要です。このparamを試してくださいspark.executor.extraclasspath ... –
最後に、私はこの問題を解決する時間がありませんでした。あなたは正しいです、私はパスにhbase-site.xmlを与えなければなりませんでしたが、spark.executor.extraclasspathと '--driver-class-path'は私のためには機能しませんでした。私は '--jars'を使ってhbase-site.xmlへのパスを追加しました。ありがとう! – ABla