pysparkのデータフレームをハイブにする

Question

パンダのデータフレームをハイブテーブルに送るにはどうすればいいですか？

私はスパークデータフレームを持っている場合、私は

df.registerTempTable("table_name") 
sqlContext.sql("create table table_name2 as select * from table_name") 

を使用して一時テーブルにそれを登録することができます知っているが、私はregisterTempTableにパンダのデータフレームを使用しようとすると、私は以下のエラーを取得：

を

AttributeError: 'DataFrame' object has no attribute 'registerTempTable' 

私はパンダのデータフレームを使ってテンポラリテーブルを登録したり、それをsparkのdataFrameに変換してから、それをハイブに戻すことができるようにテンポラリテーブルを登録する方法がありますか？

Answer 1

Spark's DFの代わりにパンダdfを使用しようとしているようです。

パンダのデータフレームには、registerTempTableというような方法はありません。

pandas DFからSpark DFを作成しようとする場合があります。

UPDATE：（パンダモジュールを含む、Anaconda parcelインストールされている）私はClouderaの下でそれをテストしてみた

。

（通常で：spark-conf/spark-env.sh）すべてのスパークの労働者に、あなたのアナコンダのPythonのインストール（またはパンダモジュールを含む別の1）にPYSPARK_PYTHONが設定されていることを確認してくださいここで

は私のテストの結果である：

>>> import pandas as pd 
>>> import numpy as np 
>>> df = pd.DataFrame(np.random.randint(0,100,size=(10, 3)), columns=list('ABC')) 
>>> sdf = sqlContext.createDataFrame(df) 
>>> sdf.show() 
+---+---+---+ 
| A| B| C| 
+---+---+---+ 
| 98| 33| 75| 
| 91| 57| 80| 
| 20| 87| 85| 
| 20| 61| 37| 
| 96| 64| 60| 
| 79| 45| 82| 
| 82| 16| 22| 
| 77| 34| 65| 
| 74| 18| 17| 
| 71| 57| 60| 
+---+---+---+ 

>>> sdf.printSchema() 
root 
|-- A: long (nullable = true) 
|-- B: long (nullable = true) 
|-- C: long (nullable = true) 

Answer 2

私は、データフレームを刺激するためにパンダのデータフレームの変換）

1で一時テーブルに私のパンダのDFを変換：

spark_df=sqlContext.createDataFrame(Pandas_df) 

2）データは）が適切に

spark_df.select("*").show() 

を移行照会するための一時テーブルにスパークデータフレームに変換していることを確認してください。

spark_df.registerTempTable("table_name"). 

乾杯..