hdfsからリモートマシンへのコピー

Question

こんにちは私はこのコマンドをhadoopクラスタのエンドノードの1つで実行しています。 hdfsからリモートマシンにデータをコピーしたい。ローカルマシンのディスククォータが限られているため、ローカルに格納できません。実行したいhdfs dfs -get /data/abc remotemac/abc

Answer 1

あなたはそれを直接行うことはできませんが、HoopとWebHDFS REST APIを調べることができます。フープを使用すると、HTTP/HTTPSを介したHDFSの読み書きが可能です。

HortonworksにはWebHDFS HTTP rest access to HDFSに関するブログがあります。

sshjを使用する別の解決策があります。これは、などあなたがSSHDサーバーに接続し、ポート転送を使用することを可能にするのSSHv2の純粋なJavaの実装、ファイル転送、である次の参照で詳細を参照してください：

リファレンス：https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/