Spark DataFrameを作成します。スキーマタイプを推論することはできません：<type 'float'>

Question

Spark DataFrameでこの問題を解決するのに役立つ人がいますか？私はmyFloatRDD.toDF（）を行うと

私はエラーを取得：私は理解していない

TypeError: Can not infer schema for type: type 'float'

をなぜ...

例：

myFloatRdd = sc.parallelize([1.0,2.0,3.0]) 
df = myFloatRdd.toDF() 

おかげ

Answer 1

フードの下で使用される

SparkSession.createDataFrameは、RDD/listDataTypeのスキーマが提供されていない限り、/tuple/list/dict *またはpandas.DataFrameです。

：***あなたが直接 SparkSession.createDataFrameを使用してスキーマを提供する必要がありますスカラーのリストから DataFrameを作成するには

from pyspark.sql import Row 

row = Row("val") # Or some other column name 
myFloatRdd.map(row).toDF() 

：

myFloatRdd.map(lambda x: (x,)).toDF() 

またはさらに良い：このような何かを試してみてください

from pyspark.sql.types import FloatType 

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType()) 

df.show() 

## +-----+ 
## |value| 
## +-----+ 
## | 1.0| 
## | 2.0| 
## | 3.0| 
## +-----+ 

しかし、単純な範囲のためにそれを使用する方がよいでしょうSparkSession.range：

from pyspark.sql.functions import col 

spark.range(1, 4).select(col("id").cast("double")) 

---

*サポートされなくなりました。

** Spark SQLはまた、__dict__を公開しているPythonオブジェクトのスキーマの推論を限定的にサポートしています。

***サポートされているのは、Spark 2.0以降のみです。