スパーク読み取りCSVリアルパス

Question

相対パスを使用してスパークにCSVを読み取るにはどうすればよいですか？ これまで絶対パスを使っても問題なく動作しましたが（1.6.2、2.0.1）、相対パスでデータをロードする必要があります。 ）私は、相対を取得するために、プレーンのScalaを使用して定住し、次の例外で

val mynewDf = spark.read 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .option("charset", "UTF-8") 
    .option("delimiter", ";") 
    .csv("~/myProject/someFolder/data.csv") 

結果

Path does not exist: file:/Users/geoHeil/source/to/scala/sparkProject/~/myProject/someFolder/data.csv; 

Answer 1

だから、常に非難される火花ではないようなファイルを読み取ろうと

ファイルパス：

var path = "~/myProject/data/data.csv" 
path = path.replaceFirst("^~", System.getProperty("user.home"))