圧縮されたファイルをサーバ間でHadoop HDFSに移動

-1

Hadoop DFSにコピーしたいサーバ上に何百もの大きな圧縮ファイルがあります。私が使用する通常のコマンドは、非圧縮ファイルのために、私は（catは多分意味がないとして）、これは圧縮されたファイルでは動作しませんと仮定してい圧縮されたファイルをサーバ間でHadoop HDFSに移動

cat someFile | ssh [email protected] "hadoop dfs -put - /data/someFile"

です。最初にファイルを名前ノードにコピーする必要がありますか？put：

scp someFile.lzo [email protected]:~/ #on remote server 
hadoop dfs -put someFile.lzo /data/ #on Hadoop server 
rm ~/someFile.lzo

これを行うには、より良い方法があるようです。

2016-09-02 Sal

をHDFSなぜあなたは 'cat'コマンドが機能しないと思います？それを試しましたか？間違いましたか？エラーは何を言ったのですか？ – Kenster

クライアントマシン（大きなファイルを持つサーバー）を、hadoopクライアントライブラリとともにインストールすることができれば、どのような場合でもファイルをcatする必要はありません。使用することができます

コマンド：

HadoopのDFS -cp localfilename hdfsipaddress：hdfsport（通常 9000）：パス

2016-09-03 19:31:08

答えて