2016-03-28 32 views
3

spark-1.6.1-bin-hadoop2.6.tgzをインストールしました。今./spark-shellが正しく起動しない(spark1.6.1-bin.hadoop2.6バージョン)

私は./spark-shell指令Imは、この問題を取得して火花を開始(私は重要と思われるそのいくつかを置くので、それはエラー行の多くを示している)

 Cleanup action completed 
     16/03/27 00:19:35 ERROR Schema: Failed initialising database. 
     Failed to create database 'metastore_db', see the next exception for details. 
     org.datanucleus.exceptions.NucleusDataStoreException: Failed to create database 'metastore_db', see the next exception for details. 
      at org.datanucleus.store.rdbms.ConnectionFactoryImpl$ManagedConnectionImpl.getConnection(ConnectionFactoryImpl.java:516) 

     Caused by: java.sql.SQLException: Directory /usr/local/spark-1.6.1-bin-hadoop2.6/bin/metastore_db cannot be created. 
      org.apache.derby.impl.jdbc.EmbedConnection.handleException(Unknown Source) 
      ... 128 more 
     Caused by: ERROR XBM0H: Directory /usr/local/spark-1.6.1-bin-hadoop2.6/bin/metastore_db cannot be created. 


     Nested Throwables StackTrace: 
     java.sql.SQLException: Failed to create database 'metastore_db', see the next exception for details. 
    org.apache.derby.impl.jdbc.EmbedConnection.handleException(Unknown Source) 
      ... 128 more 
     Caused by: ERROR XBM0H: Directory /usr/local/spark-1.6.1-bin-hadoop2.6/bin/metastore_db cannot be created. 
      at org.apache.derby.iapi.error.StandardException.newException 


     Caused by: java.sql.SQLException: Directory /usr/local/spark-1.6.1-bin-hadoop2.6/bin/metastore_db cannot be created. 
      at org.apache.derby.impl.jdbc.SQLExceptionFactory.getSQLException(Unknown Source) 
      at org.apache.derby.impl.jdbc.SQLExceptionFactory40.wrapArgsForTransportAcrossDRDA(Unknown Source) 
      at 
      ... 128 more 

     <console>:16: error: not found: value sqlContext 
       import sqlContext.implicits._ 
         ^
     <console>:16: error: not found: value sqlContext 
       import sqlContext.sql 
         ^

     scala> 

私はこの問題を解決するために、いくつかの設定を試してみました

の/ etc/hostsファイル:

127.0.0.1 hadoophost localhost localhost.localdomain localhost4 localhost4.localdomain4 
    ::1   localhost localhost.localdomain localhost6 localhost6.localdomain6 
    10.2.0.15 hadoophost 

値についての他の質問での検索は次のように、問題を発見していないsqlContext 10のリターン:

hadoophost

.bashrcファイルが含まれています:

export SPARK_LOCAL_IP=127.0.0.1 

しかし、作品をいけない、あなたは火花が正しく起動していない理由を理解しようとするいくつかの助けを与えることができますか?ホームフォルダに

ハイブ-default.xml.template

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- 
    Licensed to the Apache Software Foundation (ASF) under one or more 
    contributor license agreements. See the NOTICE file distributed with 
    this work for additional information regarding copyright ownership. 
    The ASF licenses this file to You under the Apache License, Version 2.0 
    (the "License"); you may not use this file except in compliance with 
    the License. You may obtain a copy of the License at 

     http://www.apache.org/licenses/LICENSE-2.0 

    Unless required by applicable law or agreed to in writing, software 
    distributed under the License is distributed on an "AS IS" BASIS, 
    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
    See the License for the specific language governing permissions and 
    limitations under the License. 
--><configuration> 
    <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! --> 
    <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. --> 
    <!-- WARNING!!! You must make your changes in hive-site.xml instead.   --> 

私は同じ問題を取得:

[[email protected] home]$ pwd 
/home 
[[email protected] home]$ 

フォルダのパーミッション:

[[email protected] spark-1.6.1-bin-hadoop2.6]$ ls -la 
total 1416 
drwxr-xr-x. 12 hadoop hadoop 4096 . 
drwxr-xr-x. 16 root root  4096 .. 
drwxr-xr-x. 2 hadoop hadoop 4096 bin 
-rw-r--r--. 1 hadoop hadoop 1343562 CHANGES.txt 
drwxr-xr-x. 2 hadoop hadoop 4096 conf 
drwxr-xr-x. 3 hadoop hadoop 4096 data 
drwxr-xr-x. 3 hadoop hadoop 4096 ec2 
drwxr-xr-x. 3 hadoop hadoop 4096 examples 
drwxr-xr-x. 2 hadoop hadoop 4096 lib 
-rw-r--r--. 1 hadoop hadoop 17352 LICENSE 
drwxr-xr-x. 2 hadoop hadoop 4096 licenses 
-rw-r--r--. 1 hadoop hadoop 23529 NOTICE 
drwxr-xr-x. 6 hadoop hadoop 4096 python 
drwxr-xr-x. 3 hadoop hadoop 4096 R 
-rw-r--r--. 1 hadoop hadoop 3359 README.md 
-rw-r--r--. 1 hadoop hadoop  120 RELEASE 
drwxr-xr-x. 2 hadoop hadoop 4096 sbin 
+0

似たような問題に直面していますが、私はローカルでspark 1.6を実行できません。どのようにしてこの問題を解決できましたか? – Mero

答えて

3

あなたはハイブサポートで構築されたスパークを使用しているため、関連するかもしれません。

あなたが火花シェルとしたり、火花ジョブの後半で何をしたいのかに基づいて2つの解決策があります - あなたは、あなたのHadoopの+ハイブインストールでハイブのテーブルにアクセスしたい

  1. が。 sparkインストールのconfサブディレクトリにhive-site.xmlを配置する必要があります。既存のハイブインストールからhive-site.xmlを探します。たとえば、私のcloudera VMでは、hive-site.xmlは/ usr/lib/hive/confにあります。この手順を実行した後でspark-shellを起動すると、既存のハイブメタストアに正常に接続し、現在の作業ディレクトリに一時的な.metastoreデータベースを作成しようとしません。
  2. hadoop +ハイブインストールでは、ハイブテーブルにアクセスしたくないです。 ハイブテーブルへの接続に気にしない場合は、Albertoのソリューションに従うことができます。 spark-shellを起動しているディレクトリのアクセス権の問題を修正してください。そのディレクトリにディレクトリ/ファイルを作成できることを確認してください。

は、この情報がお役に立てば幸いです。

+1

あなたの答えをありがとう。あなたの最初の点を試しています。しかし、エラーは依然として続いています。私はhive-1.2.1を使い、hive-default.xml.tepmplateをコピーして、問題はicualに続きます.. – codin

+1

@codin hive-site.xmlを探してください。 Sparkはconfディレクトリにhive-site.XMLを探します。 hive-default.XMLの名前をsparkのconfディレクトリのhive-site.xmlに変更することができます。 –

+0

再度お返事ありがとうございます。しかし、そのファイルはハイブフォルダには表示されません。そして、私はそれについてどんな構成もしなかった。ハイブをインストールして設定するには、ローカルのfoderにexctractし、.bashrcにハイブのプレフィックスを設定します。 – codin

7

どうやらあなたドンをそのディレクトリに書き込む権限がありません。 に./spark-shellを実行するか(そのコマンドをPATHに追加することもできます)、またはユーザーがアクセスして書き込み可能な他のディレクトリに実行することができます。

これはまた、あなたNotebooks together with Spark

+0

あなたの答えをありがとう。しかし、私は同じエラーを取得しています! – codin

+0

@codin私の端末の出力、現在のディレクトリとディレクトリのアクセス許可を表示します –

+0

私はその質問を更新します! – codin

関連する問題