クラスはスパークジョブではなく、SparkFiles経由でプロパティを渡しています

Question

クラスはスパークジョブではなく、SparkFilesを使用するときはSparkFiles でプロパティを渡します。クラスタ、 ファイルが見つかりませんでした例外を報告します。

package xx.xxx.meatadata.ConfigurationParser 

class FileValidatorConfiguration (confStr:String) extends ConfigurationValidator (confStr) { 
    override val path="FileEvalutor" 
    //necessary fields 
    override val keys=Set("IN_FILE_LOCATION","IN_PROGRESS_FILE_LOCATION","REJECT_FILE_LOCATION","FILE_NAME_EXTRACT","TARGET_FILE_NAME") 


    lazy val FS_PREFIX = getValue("FS_PREFIX").getOrElse("") 
    lazy val IN_FILE_LOCATION=FS_PREFIX+getValue("IN_FILE_LOCATION").getOrElse("") 
    lazy val IN_PROGRESS_FILE_LOCATION=FS_PREFIX+getValue("IN_PROGRESS_FILE_LOCATION").getOrElse("") 
    lazy val REJECT_FILE_LOCATION=FS_PREFIX+getValue("REJECT_FILE_LOCATION").getOrElse("") 
    lazy val PERIOD=getValue("PERIOD").getOrElse("")`enter code here` 
    lazy val SOURCE=getValue("SOURCE").getOrElse("") 
    lazy val FILE_NAME_EXTRACT=getValue("FILE_NAME_EXTRACT").getOrElse("") 
    lazy val TARGET_FILE_NAME=getValue("TARGET_FILE_NAME").getOrElse("") 
    lazy val SUBJECT=getValue("SUBJECT").getOrElse("") 
} 

は、スパーク仕事ではないと、私たちは例外

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). 
log4j:WARN Please initialize the log4j system properly. 
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 
Exception in thread "main" java.lang.NullPointerException 
     at org.apache.spark.SparkFiles$.getRootDirectory(SparkFiles.scala:37) 

誰が助けてもらえを引き起こしているSparkFiles を経由してプロパティをpasssingていますか？

Answer 1

spark submitを使用して--files <comma-separated list of files>オプションを使用して、スパークジョブの実行時にクラスパスにローカルファイルを追加します。