mapreduce

1熱

1答えて

marshalライブラリを使用してTCPソケットを介して渡された後に、デシリアライズされたマップ関数とreduce関数を使用してDiscoジョブを実行しようとしています。具体的には、私はすでに、同じシステム上で（ローカルに定義された機能を持つ）無地ディスコジョブをテストしてみた、と彼らは正常に動作 code = marshal.loads(data_from_tcp) func = types.

0熱

1答えて

Mapperジョブの値のみを書き込む

現在、私は減速機なしでマッパーを使用しているMapReduceジョブを作成しています。私はキーを書き出す必要はありません。なぜなら、配列に格納された値が必要なだけで、最終的な出力ファイルとして書き出す必要があるからです。これをHadoopでどのように実現できますか？キーと値の両方を出力に書き込むのではなく、値だけを書き出すことに興味があります。値は配列内にあります。ありがとう public voi

6熱

4答えて

実際には、Hadoop/MapReduce/Mahoutが非常に並列化可能な計算を高速化するために何台のマシンが必要ですか？

私は重い機械学習計算をする必要があります。私は、LAN上で少数のマシンがアイドル状態になっています。 hadoop/mapreduce/mahoutを使用して計算を分散するために必要なマシンは、これらの分散フレームワークがない単一のマシンで実行するよりもはるかに高速です。これは計算オーバーヘッドとゲインの実用的な問題です。私はちょうど2台のマシンの間で分配すると仮定しています。つまり、分配しないで

1熱

3答えて

多くのエンティティを作成するAppEngineタスク

イベントに参加している人のためのアプリケーションを構築しています。特定のイベントに対して、PersonエンティティのサブセットのTicketエンティティを作成する必要があります。人の量は5万人を超えることがあります。もちろん、Forループを実行してPersonクエリを反復してこれらのTicketを生成することはできません。これをApp Engineでどのように構造化すればよいですか？MapRe

3熱

1答えて

マルチノードでストリームジョブを実行中の "Child Error" Hadoopクラスタ（clouderaディストリビューションCDH3u0 Hadoop 0.20.2）

8ノードのHadoopクラスタで作業していますが、指定された設定で単純なストリーミングジョブを実行しようとしています。 hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max

3熱

2答えて

mongoDbのクエリとグループ化？

パート1：私は年齢とGPAを排除する必要が { sname : "", studentId: "123" } ：それから、2つだけのキーを取得しようとしている { sname : "", studentId: "123" age: "", gpa: "", } はイム：私は（学生）のコレクションを持っています名前とstude

1熱

1答えて

MongoDBマップリダクションを監視するにはどうすればよいですか？

私はログ解析アプリケーションを持っています。ユーザーがファイルをアップロードすると、自動的にマップを開始してレポートを生成します。これらのファイルは大きく、時間がかかることがあります。特定のファイルがまだ処理されていることを示すことができ、完了した時点を示すことができるように、マップのプロセスを監視するにはどうすればよいですか？私はプロセスを開始する直前にプロセス内のファイルをマークすることがで

1熱

3答えて

繰り返しが必要なhadoopの良い例

私は現在、ユーザーが指定した回数だけマッパーを反復するために、hadoopのparallel-forを実装しています。誰かが私の実装をテストに使うことができるという有用な例を教えてくれますか？ Mapper関数の反復が必要なHadoopのアプリケーション。ありがとうございます

0熱

1答えて

hadoop eclipseプラグインがhadoopクラスタにコードをデプロイしていません

hadoopダウンロードに付属しているhadoop eclipseプラグインの設定方法がわかりますか？私はhadmopをVMware PlayerのLinuxサンドボックスで実行しています。私はヤフーの開発者ネットワークからこのプリインストールされたハーフ・イメージを入手しました。私のhadoopが走っていて、私はホストマシンからputty/winscpを通してサンドボックスに接続して、hado

0熱

2答えて

apache pigコマンド

次のコマンドは何を意味しているのでしょうか？豚に関連するトピックをGoogleに一生懸命： pig -Dpig.usenewlogicalplan=false 私はモードを減らす/マップで豚のスクリプトを実行した、それはそのフラグ（-D）を追加することによって、失敗した、それが働いたが、まだいくつかの問題があります。とにかくそれはどういう意味ですか？ありがとう。