データをコピーせずに直接hdfsにストリームする

私は、ローカルノードに保存せずに、そして次にcopyfromlocalを使用して、pythonを使ってhdfsに直接データを書き込むことができるさまざまなオプションを探しています。私はHDFSを使用したいデータをコピーせずに直接hdfsにストリームする

は、ローカルファイルに似たファイルや引数としてラインとwriteメソッドを使用し、次のようなもの：

hdfs_file = hdfs.create("file_tmp") 
    hdfs_file.write("Hello world\n")

は、上記のユースケースのようなものが存在していますか？

2013-03-16 0xhacker

イムPythonのHDFSライブラリについて確認していますが、いつものHadoop FS経由のストリーミングコマンドを入れて使用して標準入力からコピーを表すことができない「 - 」ソースファイル名として：

hadoop fs -put - /path/to/file/in/hdfs.txt

2013-03-17 00:39:09

これはクールです。ここでリダイレクション演算子を使用できますか？私はpythonを介してコンソールに書き込んで、出力を上記のコマンドにリダイレクトすることができます。 – 0xhacker

ありがとう、私は上記のコマンドにpythonからの出力をパイプし、それは働いた。 – 0xhacker

答えて