1
私は、このイメージが使用される。特にR.含むhttps://github.com/gettyimages/docker-spark基づくローカルスパークテストクラスタが見つかりません：sparkRこの例外が発生すると、寄木細工のファイルを読み込もうとhttps://hub.docker.com/r/possibly/spark/スパークなし事前定義されたスキーマは
。寄木細工のファイルを読むことは、地元のスパークのインストールで問題なく動作します。
myData.parquet <- read.parquet(sqlContext, "/mappedFolder/myFile.parquet")
16/03/29 20:36:02 ERROR RBackendHandler: parquet on 4 failed
Fehler in invokeJava(isStatic = FALSE, objId$id, methodName, ...) :
java.lang.AssertionError: assertion failed: No predefined schema found, and no Parquet data files or summary files found under file:/mappedFolder/myFile.parquet.
at scala.Predef$.assert(Predef.scala:179)
at org.apache.spark.sql.execution.datasources.parquet.ParquetRelation$MetadataCache.org$apache$spark$sql$execution$datasources$parquet$ParquetRelation$MetadataCache$$readSchema(ParquetRelation.scala:512)
at org.apache.spark.sql.execution.datasources.parquet.ParquetRelation$MetadataCache$$anonfun$12.apply(ParquetRelation.scala:421)
at org.apache.spark.sql.execution.datasources.parquet.ParquetRelation$MetadataCache$$anonfun$12.apply(ParquetRelation.scala:421)
at scala.Option.orElse(Option.scala:257)
at org.apache.spark.sql.execution.datasources.parquet.ParquetRelation$MetadataCache.refresh(ParquetRelation.scala:421)
at org.apache.spark.sql.execution.datasources.parquet.ParquetRelation.org$apache$spark$sql$execution$datasources$parquet$ParquetRelation$$metadataCac
奇妙なことに、同じエラーは同じです - 既存のファイルでない場合でも同じです。
しかし、端末に、私はファイルがあることがわかります。
/mappedFolder/myFile.parquet
[email protected]:/mappedFolder/myFile.parquet# ls
_common_metadata part-r-00097-e5221f6f-e125-4f52-9f6d-4f38485787b3.gz.parquet part-r-00196-e5221f6f-e125-4f52-9f6d-4f38485787b3.gz.parquet
....
このような場合は、プロジェクトのトラッカーで問題を開くことにします。この場合は何でもかまいません。どのように/ mappedFolderを定義しましたか？ – Markon
'ボリューム： - ./someLocalPath /：/ mappedFolder'のように定義しました –
このフォルダはマウントされていますか？まずVMにアクセスし、確認します。私はこれがいくつかのvboxのアンマウントされたフォルダのためだと思います... – Markon