sparkの空のデータフレームに値を挿入する方法

Question

SPARK sqlを使用してsparkアプリケーションを開発しています。私の仕事の1つは2つのテーブルから値を選択し、それを空のテーブルに挿入することです。しかし、このために私は空のテーブルを作成するための火花を試しています、私は、空のデータフレームを作成しているが、ここでそれを表として登録カント今私の状況でコード

from pyspark import SQLContext 
from pyspark.sql.types import StructType,StructField,StringType,DateType,IntegerType 
sqlc=SQLContext(sc) 

schema= StructType([StructField("Name",StringType(),False),StructField("AGE",IntegerType(),False),StructField("DATE",DateType(),False)]) 

dataframe=sqlc.createDataFrame([],schema) 
dataframe.show() 

それがデータフレームを示しているが、私はないですそれは私がこの問題のために、私はテストのためのいくつかの値を挿入したいが、私はそれを行うことができませんので、私は、ここで間違いを犯しています考えて何の価値

dataframe.registerTempTable("Exp") 
experiment=sqlc.sql("SELECT * FROM Exp") 
experiment.show() 

が存在しない原因の登録であるかどうかを確認してください。私はスパークの新しいので、どのように私はこの状況を解決することができますか分からない。私はいくつかのフォーラムを通過しました私はいくつかのフォーラムユーザーがテーブルを作成するためのparallelize（）メソッドについて述べたが、私はそれがworks.Isを正しく理解していない操作目的のハイブコンテキストを使用する必要がありますか？私の要求は、ハイブの文脈なしにこの仕事をしています。私を案内してください

Answer 1

短い答え：あなたはしていません。

スパークデータフレームは、RDDの上に構築され、は変更不可能です。これは最初は慣れにくいですが、あなたはそれに取り組むことができます。

新しいデータフレームを作成するには、既存のデータ変換（たとえば、spark-sqlのSQL文を使用）、入力データの読み込み、または手動でsqlContext.createDataFrame（.. 。）。

結果で新しいDataFrameを作成し、必要に応じてテーブルに登録するだけの理由がありますか？

編集：あなたの質問をよく理解していれば分かりません...私が提案していることは、まさにあなたがしたいことです。その場合：テーブルを作成するための

df = sqlContext.createDataFrame([("val1","val2","val1")], ["colName1", "colName2", "colName3"]) 

Answer 2

並列化（）メソッドが、私はきちんとそれがどのように動作するか理解していませんでした。

簡単に言えば - parallizeメソッドは一連の入力を受け取り、そこから入力分割を作成します。私はあなたのいずれかがデータフレームの行オブジェクトのリストをparallizeまたはファイルを作成し、その

上でSQLスキーマをマップする必要が

をテストするためのいくつかの値を挿入するこの問題の

私の仕事は2つのテーブルから値を選択しています

そこから始めてください。 2つのテーブルに対してSELECTステートメントを作成すると、新しいテーブルが返されます。登録してデータベース/ディスクに書き出すことができます