2017-02-24 14 views
2

私は、/ project1ディレクトリの下にあるhadoopファイルのシステムにテキストファイル名mr.txtを持っています。 mr.txtファイルをローカルにダウンロードせずに、テキストファイルの最初の行を読むためにPythonコードを書く必要があります。しかし、私はhr.fsからmr.txtファイルを開くのが難しいです。 私が試した:hdfsからファイルを読む方法

open('hdfs:///project1/mr.txt','r') 
+0

"mr.txt'をダウンロードしていない" ...実際には、ノード上のファイルを実際に収集する必要があります。 –

答えて

1

PySparkがインストールされています。

text = sc.textFile('hdfs:///project1/mr.txt') 
first_line = text.first() 
+0

@ cricket_007ありがとうございます。出来た – Gokul

0

をお使いのソフトウェアがあるか、それが実行された場合どのように詳細に知らない...

をローカルにそれにHDFSのボリュームとアクセスをマウントすることができますので、あなたがNFS serverを使用することができます。このオプションがニーズに合わない場合は、Hadoop Streamingを使用してください。最後に、あなたがSparkの仕事を書いているのなら、あなたのローカルFSのようにHDFSにアクセスできます。

関連する問題