2016-04-28 7 views
0

GitHub(https://github.com/databricks/spark-csv/issues/45)の次のスレッドに基づいて、私は、CREATE TABLE +オプション(JDBCのような)がHive外部テーブルを作成することを理解しています。これらのタイプのテーブルはマテリアライズされません。そのため、テーブルをSQLにドロップしたり、DatabricksテーブルのUIから削除すると、データが失われることはありません。Sparkでは、CREATE TABLEコマンドで外部テーブルを作成しますか?

答えて

1

あなたは非常によく火花でEXTERNALテーブルを作成することができますが、代わりにSqlContextHiveContextを使用しての世話をする必要があります。

scala> import org.apache.spark.sql.hive._ 
import org.apache.spark.sql.hive._ 

scala> val hc = new HiveContext(sc) 
hc: org.apache.spark.sql.hive.HiveContext = [email protected] 

scala> hc.sql("create external table blah (name string) location 'hdfs:///tmp/blah'") 
res0: org.apache.spark.sql.DataFrame = [result: string] 
関連する問題