は（spark_read_csvを使用してスパークにcsvファイルを読むことができません）

Question

私はR.にcsvファイルを読むためにsparklyrを使用しようとしている私はread.csv()を使用してRにちょうど罰金を.csvファイルを読み込むことができますが、私はspark_read_csv()にそれを使用しようとすると、故障する。私はこのコードを実行しようとしたとき

accidents <- spark_read_csv(sc, name = 'accidents', path = '/home/rstudio/R/Shiny/accident_all.csv') 

はしかし、私は次のエラーが表示されます

Error in as.hexmode(xx) : 'x' cannot be coerced to class "hexmode"

私はそのエラーをグーグルで多くを発見していません。誰でもここで何が起こっているのか、何か光を当てることができますか？

Answer 1

はい、spark_read_csv()を使用してローカルの.csvファイルをSpark Dataフレームで簡単に読み取ることができます。 Documentsディレクトリに.csvというファイルがあり、次のコードスニペットを使用して読みました。私は、file://接頭辞を使用する必要はありません。以下は抜粋です：

Sys.setenv(SPARK_HOME = "C:/Spark/spark-2.0.1-bin-hadoop2.7/") 
library(SparkR, lib.loc = "C:/Spark/spark-2.0.1-bin-hadoop2.7/R/lib") 
library(sparklyr) 
library(dplyr) 
library(data.table) 
library(dtplyr) 

sc <- spark_connect(master = "local", spark_home = "C:/Spark/spark-2.0.1-bin-hadoop2.7/", version = "2.0.1") 

Credit_tbl <- spark_read_csv(sc, name = "credit_data", path = "C:/Users/USER_NAME/Documents/Credit.csv", header = TRUE, delimiter = ",") 

あなただけのオブジェクト名Credit_tblを呼び出すことにより、データフレームを見ることができます。