mapreduce

0熱

1答えて

マップの縮小の仕組みと使い方をしっかりと把握するのに苦労しています。私はちょうど意味を成し遂げていないいくつかのランダムな結果を得ていますが、間違ってマップリダクションの私の理解？ここに私がやっていることの例があります。私は以下の構造の15000以上の英国の町のコレクションを持っています。 { "_id" : ObjectId("4e234105e138231a7f000004"),

0熱

2答えて

Hadoopでテキストをマップキーとして追加する

ファイルのテキスト全体をマップにロードする方法を探しています。 TextInputFormatのように一度に1行ではありません。だから私は私の地図でvalue.toStringを行うと、それは私に仕事全体の入力を与える。ありがとう

0熱

2答えて

Mapperクラスへの変数の送信

ユーザからの入力を取得し、作成したマッパークラスに渡そうとしていますが、ユーザが入力した実際の値を使用する代わりに常に値がゼロに初期化されます。変数を取得するたびに常に同じ値を保持するようにするにはどうすればよいですか。私はjob1.setMapperClass（Parallel_for.class）に気付きました。クラスのインスタンスを作成し、変数を強制的に元の値に再初期化します。以下は2つの

1熱

1答えて

CouchAppビューでmap.jsに引数を渡す

私はソーシャルネットワークのように機能するCouchAppを持っています。私はユーザがクリックすると、フィールドpost_id（好きな投稿のID）、user_id（投稿が好きなユーザのID）、およびタイプのCouchDB JSONドキュメントを作成して保存するようなボタンを持っています（値は "like"で、ドキュメントが類似していることを示します）。投稿と並んで、受信したお気に入りの数を示した

0熱

2答えて

Hadoop MapReduceジョブで外部参照テーブルまたはデータベースを使用できるようにするにはどうすればよいですか？

入力ファイルが.txt形式のHadoop MapReduceジョブで大量のファイルを分析しています。私のマッパーと私の減速機はPythonで書かれています。しかし、私のマッパーモジュールは、外部のCSVファイルの内容にアクセスする必要があります。これは、マッパーが実行している変換の参照値を参照するための基本的なテーブルです。これまでは、ファイルをローカルディレクトリからメモリにロードしてPyt

0熱

3答えて

は

ストリーミングのHadoopでJavaクラスファイルを実行することはできません： java.io.IOException: Cannot run program "MapperTst.class": java.io.IOException: error=2, No such file or directory 私はターミナルで以下のコマンドを実行しました： [email protected]:/u

0熱

2答えて

標準入力ストリームからHadoopを読み取る

MapReduceプログラムで標準入力ストリーム（System.in）から読み取るようにしたい例えばrun（）メソッドでは、プログラムをaからSystem.inから読み込むにはどうすればよいですか？このようなファイル..FileInputFormat.addInputPath（job、new Path（ "dummy.txt"））; はまた、私は、私はHadoopの中で、このようなInputFo

3熱

2答えて

Celery for Map-Reduce、またはPythonの他の選択肢？

私はmap-and-reduceモデル（長い話を要約すると、時間のかかるアルゴリズムによって以前に計算された数百のランキングを集約することです）の下で実行するのに非常に適した高価なジョブを持っています。クラスタ上でジョブを並列化する（マルチプロセッシングではなく）ために、CeleryとDiscoの2つの実装に焦点を当てました。 Celeryは単純なマップ・アンド・リダクションをサポートしておらず

10熱

1答えて

Streaming or Custom Jar in Hadoop

私はHadoop（AmazonのEMR）でストリーミングジョブを実行しています。マッパーとレデューサーはPythonで書かれています。私はJavaで同じマッパーとレデューサーを実装する（またはPigを使用する）場合、私が経験する速度の向上について知りたい。特に、ストリーミングからカスタムjarデプロイメントおよび/またはPigに移行する際の人々の経験と、これらのオプションのベンチマーク比較を含む

2熱

1答えて

Jarファイルから.datファイルにアクセス

JARファイル内にあるパブリッククラスからデータファイルにアクセスしようとしています。しかし、Hadoopクラスター上でjarファイルを実行すると、システムはFileNotFoundExceptionをスローします。一番下の行はです。クラスタ上でアプリケーションを実行しているときにJar内のリソースにアクセスすることは可能ですか？また、リソースをHDFSに個別にコピーする必要がありますか？上記のい