Amazon EC2 Hadoopで多数の大きなファイルをダウンロード

Question

amazon ec2でhadoopクラスタを起動し、数万ファイルをダウンロードして後で処理することを考えていますが、大変な作業をしたいと思います私よりもハープで経験が豊富な人はそれが可能だと思いますか？私はhadoopの奴隷にファイルをダウンロードできることに疑問を持っています。

これが可能だと思うなら、amazon ec2で動作する各スレーブが異なるIPアドレスを持つと期待できますか？

私は仕事のほとんどを行うためにpythonを使用したいと思います（例えば、ダウンロード用のurllib2モジュール）、できるだけ小さなJavaを使用したいと思います。

Answer 1

ec2でhadoopにデータをダウンロードすることが可能です。 Hadoopには分散ファイルシステム（HDFS）があり、スレーブにデータブロックを配置し、設定で指定されているレプリケーションファクタを尊重します。

ec2のスレーブは、異なるIPアドレスを持ちます。