ローカルマシンからテキストファイルを読み取る

-2

sparkを使用してローカルパスからテキストファイルを読み込もうとしています。しかし、それは例外をスローしています。 Error image ローカルマシンからテキストファイルを読み取る

私は、ファイルを読み取るために使用されるコードはこれです：パスは私のローカルマシンにsomehereするwhichrepresent

val assetFile = sc.textFile(assetFilePath)

assestFilePathは可変です。

adFilePathは、ローカルマシンのどこかへのパスを表す変数です。

出典

2017-03-04 Akhil Choudhari

エラースタックを投稿し、画像とのリンクを削除することを強くお勧めします。 – dbustosp

このリンクをチェックしましたか：[http://stackoverflow.com/questions/27299923/how-to-load-local-file-in-sc-textfile-instead-of-hdfs](http://stackoverflow.com/questions/27299923/hdfsの代わりにhow-to-load-local-file-in-sc-textfile） – dbustosp

sc.textFileはデフォルトでローカルファイルシステムからではなくHDFSから読み込みますが、SparkはLocalFileSyetem、Amazon S3、Azure、Swift FSのようなHDFSとは別に複数のファイルシステムをサポートしています。

ローカルファイルシステムから読み込むには、ファイルパスでプロトコルとして指定する必要があります。例えば：

sc.textFile("file:///tmp/myfile.txt")

これは、スパーク・ドライバ・コードが実行されているローカル・ファイル・システム内に存在するtmpディレクトリからmyfile.txtの名前のファイルを読み取ります。

出典

2017-03-04 07:34:21 RBanerjee

ローカルマシンからテキストファイルを読み取る

答えて

関連する問題