スパーク2を使用してhbaseを訪問する方法*

Question

私はspark-hbase-connecotr（spb-hbase-connecotr） ％ "1.0.3"）。しかし、スパーク2を使用すると動作しません。私はこの質問について検索したと私はいくつかの結論だ：

1. スパーク

   • HBaseのスパークを使用してのHBaseを接続するために使用されるいくつかのコネクタがあります。 hbase-sparkは、HBaseの公式websiteによって提供されています。しかし、私はそれがscala 2.10とspark 1.6で開発されていることがわかりました。プロジェクトののpom.xmlのプロパティは以下の通りです：

     <properties> 
         <spark.version>1.6.0</spark.version> 
         <scala.version>2.10.4</scala.version> 
         <scala.binary.version>2.10</scala.binary.version> 
         <top.dir>${project.basedir}/..</top.dir> 
         <avro.version>1.7.6</avro.version> 
         <avro.mapred.classifier></avro.mapred.classifier> 
     </properties> 
     

   • のHBase-火花connecotr：私は彼らのwebsiteを訪問し、火花2.0についての情報はありません。そして、その瓶の名前はspark-hbase-connector_2.10です。この瓶は、spark 1で使用されているscala 2.10によってコンパイルされています。しかし、私はspark-hbase-connector_2.11（spark 2と同じ、scala 2.11でコンパイルされた）にjarの名前を変更すると、私のIEDA（IDEの一種）はspark-hbase-connecotr_2.11という名前のjarを教えてくれません。したがって、スパーク2はサポートされていません。

   • hortonworks-spark：自分のウェブサイトにアクセスしました。いくつかの発言は、スパーク2のサポートではないと言いました。

あなたは問題を解決するための完全なドキュメントに第三者によって提供されたjarファイルを知っていますか？どのパッケージをspbase 2.を使ってhbaseに接続する必要がありますか？ご意見ありがとうございます。ありがとう！

Answer 1

新しいAPIHadoopRDDを使用して、spbaseのhbaseにアクセスします。