2016-11-08 6 views
1

ファイルをHDFSから読み取ろうとしています。私は次のコードを使用しています:私は次のエラーを取得していますHDFSからファイルを読み取ることができません

val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4) 

を:

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000 

私は私のファイルパスにURIを追加するために、この質問を参照していた:
Cannot Read a file from HDFS using Spark

しかし、私はまだ上記のエラーのためにファイルを読むことができません。どうすれば解決できますか?

+0

'inputFolderとは何ですか –

+0

これはHDFS内のパスの文字列変数です... – sarthak

+0

' hdfs:// localhost'を使用していますが、 'expected:hdfs:// localhost:9000'、それはあなたのコードが既に使っているものです。 HDFSが動作していて、ポート9000にあり、ローカルホスト上にあることを確認していますか? –

答えて

1

試しください、あなたのシステムにwinutils.exeを追加し、そのための環境変数を設定し確認することができます。 Sparkはhdfs操作を行うためにwinutils.exeが必要です。

0

は、IPを使用しての代わりに、localhostの

関連する問題