データフレーム結合エラー

Question

私は3つのデータフレームを作成しましたが、今はそれらに結合したいと思います。しかし、私はこのエラーに実行しています：

val join1 = c1_df.join(ck_df, ck_df.col("APP_ID") === c1_df.col("ID")) 

val joinFinal = join1.join(c2_df, c2_df.col("APP_ID") === join1.col("APP_ID")) 

joinFinal.show() 

Answer 1

次のスニペットは、問題なく動作します。 NoSuchMethodError: org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z

ここでは、コードです。 c1_df、ck_df、c2_dfは有効なデータフレームですか？これは、バージョン管理上の問題を引き起こす可能性もあります。正しいバージョンのSparkを使用していることを確認し、SPARK_HOME変数が適切に設定されていることを確認してください。

val c1_df = sc.parallelize((1 to 10)).toDF("ID") 
val ck_df = sc.parallelize((1 to 10)).toDF("APP_ID") 
val c2_df = sc.parallelize((1 to 10)).toDF("APP_ID") 
val join1 = c1_df.join(ck_df, ck_df.col("APP_ID") === c1_df.col("ID")) 
val joinFinal = join1.join(c2_df, c2_df.col("APP_ID") === join1.col("APP_ID")) 
joinFinal.show() 
+---+------+------+ 
| ID|APP_ID|APP_ID| 
+---+------+------+ 
| 1|  1|  1| 
| 6|  6|  6| 
| 3|  3|  3| 
| 5|  5|  5| 
| 9|  9|  9| 
| 4|  4|  4| 
| 8|  8|  8| 
| 7|  7|  7| 
| 10| 10| 10| 
| 2|  2|  2| 
+---+------+------+