0
以下は、4ノードクラスタ内の各ノードの/etc/dse/spark/hive-site.xmlに変更されています。Spark BeelineのS3から外部テーブルを作成
<property>
<name>fs.s3.awsAccessKeyId</name>
<value>****</value>
</property>
<property>
<name>fs.s3.awsSecretAccessKey</name>
<value>****</value>
</property>
<property>
<name>fs.s3n.awsAccessKeyId</name>
<value>****</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>****</value>
</property>
<property>
<name>fs.s3a.awsAccessKeyId</name>
<value>****</value>
</property>
<property>
<name>fs.s3a.awsSecretAccessKey</name>
<value>****</value>
</property>
= *****
どこスパーク倹約サーバーからのノード上のENV変数の下に設定し、火花ビーラインをクライアントが 輸出AWS_SECRET_ACCESS_KEYを実行します= ****
輸出AWS_ACCESS_KEY_IDは倹約スパーク開始サーバー
dse -u cassandra -p ***** spark-sql-thriftserver start --conf spark.cores.max=2 --conf spark.executor.memory=2G --conf
spark.driver.maxResultSize=1G --conf spark.kryoserializer.buffer.max=512M --conf spark.sql.thriftServer.incrementalCollect=true
ソースとしてS3バケットでスパークビーラインからテーブルを作成し、以下のよう
dse -u cassandra -p ***** spark-beeline --total-executor-cores 2 --executor-memory 2G
The log file is at /home/ubuntu/.spark-beeline.log
Beeline version 1.2.1.2_dse_spark by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000 cassandra
Connecting to jdbc:hive2://localhost:10000
Enter password for jdbc:hive2://localhost:10000: ****************
Connected to: Spark SQL (version 1.6.3)
Driver: Hive JDBC (version 1.2.1.2_dse_spark)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000> CREATE EXTERNAL TABLE test_table (name string,phone string) PARTITIONED BY(day date)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION 's3a://hive-getsimpl/test';
私は
Error: org.apache.spark.sql.execution.QueryExecutionException: FAILED:
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.MetaException (message:com.amazonaws.services.s3.model.AmazonS3Exception:
Status Code: 403, AWS Service: Amazon S3, AWS Request ID: 29991E2338CC6B49, AWS Error Code: null,
AWS Error Message: Forbidden, S3 Extended Request ID: kidxZNQI73PBsluGoLQlB4+VEdIx0t82Y/J/q69NA18k8MnSILEyo5riCuj3QcEiGiFRqB4rAbc=) (state=,code=0)
以下のエラーを取得するには注:AWSキーが有効であるとS3Aで使用
スティーブ、私は今テーブルを作成することができます。しかし、テーブルから選択すると、次のエラーが表示されます。 '0:jdbc:hive2:// localhost:10000> select * from test_table; エラー:org.apache.hadoop.hive.ql.metadata.HiveException:テーブルtest_tableをフェッチできません。バケット172.31.26.109は存在しません(状態=、コード= 0) ' –
申し訳ありませんが、私の知る限り –