2017-03-04 7 views
-2

sparkを使用してローカルパスからテキストファイルを読み込もうとしています。しかし、それは例外をスローしています。 Error imageローカルマシンからテキストファイルを読み取る

私は、ファイルを読み取るために使用されるコードはこれです:パスは私のローカルマシンにsomehereするwhichrepresent

val assetFile = sc.textFile(assetFilePath) 

assestFilePathは可変です。

adFilePathは、ローカルマシンのどこかへのパスを表す変数です。

+0

エラースタックを投稿し、画像とのリンクを削除することを強くお勧めします。 – dbustosp

+0

このリンクをチェックしましたか:[http://stackoverflow.com/questions/27299923/how-to-load-local-file-in-sc-textfile-instead-of-hdfs](http://stackoverflow.com/questions/27299923/hdfsの代わりにhow-to-load-local-file-in-sc-textfile) – dbustosp

答えて

0

sc.textFileはデフォルトでローカルファイルシステムからではなくHDFSから読み込みますが、SparkはLocalFileSyetem、Amazon S3、Azure、Swift FSのようなHDFSとは別に複数のファイルシステムをサポートしています。

ローカルファイルシステムから読み込むには、ファイルパスでプロトコルとして指定する必要があります。例えば :

sc.textFile("file:///tmp/myfile.txt") 

これは、スパーク・ドライバ・コードが実行されているローカル・ファイル・システム内に存在するtmpディレクトリからmyfile.txtの名前のファイルを読み取ります。

関連する問題