ファイルをHDFSから読み取ろうとしています。私は次のコードを使用しています:私は次のエラーを取得していますHDFSからファイルを読み取ることができません
val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)
を:
java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000
私は私のファイルパスにURIを追加するために、この質問を参照していた:
Cannot Read a file from HDFS using Spark
しかし、私はまだ上記のエラーのためにファイルを読むことができません。どうすれば解決できますか?
'inputFolderとは何ですか –
これはHDFS内のパスの文字列変数です... – sarthak
' hdfs:// localhost'を使用していますが、 'expected:hdfs:// localhost:9000'、それはあなたのコードが既に使っているものです。 HDFSが動作していて、ポート9000にあり、ローカルホスト上にあることを確認していますか? –