入力ファイルをhdfsに自動的に入れる方法は？

Question

Hadoopでは、常に入力ファイルを-putコマンドで入力しています。このプロセスを自動化する方法はありますか？

Answer 1

Hadoopファイルシステムにファイルを入力する自動化プロセスはありません。しかし、1つのコマンドで複数のファイルを出力することも可能です。 Hadoopのシェルが http://hadoop.apache.org/common/docs/r0.18.3/hdfs_shell.html

Answer 2

私はあなたがHDFSに下落しているどのように多くのファイルを確認していないコマンドが、ファイルを監視し、その後でそれらをドロップするための一つの解決策は、Apache水路であるためここで

は、ウェブサイトです。 These slidesはまともなイントロを提供します。

Answer 3

ファブリックライブラリとPythonを使用すると、このプロセスを自動的に行うことができます。関数内にhdfs putコマンドを書くと、それを複数のファイルに対して呼び出すことができ、ネットワーク内の複数のホストの同じ操作を実行することができます。あなたのシナリオでは、ファブリックは本当に自動化に役立つはずです。