write.dfがsparkrで失敗する

Question

SparkRを使用してSparkDataFrameを書き込もうとしています。

write.df(spark_df,"/mypartition/enablers/Prod Data/data2/tempdata/tempdata_l2/","csv") 

また、あなたの貴重な洞察力を事前に以下のエラー -

WARN FileUtil: Failed to delete file or dir [/mypartition/enablers/Prod Data/data2/tempdata/tempdata_l2/_temporary/0/task_201610040736_0200_m_000110/.part-r-00110-c4c5f30e-343d-4b02-a0f2-e9e5582047e5.snappy.parquet.crc]: it still exists. 

感謝を取得し、さらに、以下のエラー -

InsertIntoHadoopFsRelationCommand: Aborting job. 
java.io.IOException: Failed to rename DeprecatedRawLocalFileStatus{path=file:/mypartition/enablers/Prod Data/data2/tempdata/tempdata_l2/_temporary/0/task_201610040736_0200_m_000112/part-r-00112-c4c5f30e-343d-4b02-a0f2-e9e5582047e5.snappy.parquet; isDirectory=false; length=331279; replication=1; blocksize=33554432; modification_time=1475566611000; access_time=0; owner=; group=; permission=rw-rw-rw-; isSymlink=false} to file:/mypartition/enablers/Prod Data/data2/tempdata/tempdata_l2/part-r-00112-c4c5f30e-343d-4b02-a0f2-e9e5582047e5.snappy.parquet 
    at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.mergePaths(FileOutputCommitter.java:371) 

を得ます。

Answer 1

それはスパーク最初に、rootユーザーを使用することによって解決ガットは、rootとして記述しようとしていたが、それはユーザーでログインして使用していた削除、一時はファイルながら、ルートにログインしているユーザ変更し、それはあなたを投稿

Answer 2

チェックサムファイルが正しく削除されません。あなたはチェックサム（crc）ファイルの名前を変更して再実行することができます。

cd /mypartition/enablers/Prod Data/data2/tempdata/tempdata_l2/__temporary/0/task_201610040736_0200_m_000110/ 

mv .part-r-00110-c4c5f30e-343d-4b02-a0f2-e9e5582047e5.snappy.parquet.crc .part-r-00110-c4c5f30e-343d-4b02-a0f2-e9e5582047e5.snappy.parquet.crc_backup