mapreduce

2熱

1答えて

Amazon Elastic MapReduce - Pythonのマップとコードの形式または例

おそらくHadoopと同じですが、マップの書式や例を見つけることができませんでした。マップの例の横にあるPythonコードはここにあります。http://docs.amazonwebservices.com/ElasticMapReduce/latest/GettingStartedGuide/ が、私はが、それはHadoopのと同じである、コード例を減らす見つけることができませんでしたか？と

2熱

1答えて

マップタグの数を減らした日付とカテゴリ

私はまだ地図の周りに私の脳をラップしようとしています。私は1つのカテゴリに属する記事の集まりを持っており、各記事には一連のキーワードがあります。 { author: "kris", category: "mongodb", content: "...", keywords: [ "keyword1", "keyword2", "keyword3" ],

1熱

1答えて

マップ関数内で条件付きロジックを使用して値を初期化できますか？

私はmapreduceを使用してレポートを作成しています。ドキュメントにはプロパティがありません。文書の一部には計算を実行しているプロパティがないためです。次の私のマップ機能である： var map = function(){ emit(this.SurveyId, {count: 1, totalScore: : this.totalScore, networth: this.net

1熱

2答えて

hadoop用マッパー/レデューサーTeraSort

Hadoop 0.20.2のTeraSortクラスのマッパーにいくつかのコードを挿入する予定です。ただし、ソースコードを確認した後、マッパーが実装されているセグメントを見つけることはできません。通常、マッパークラスを示すjob.setMapperClass（）というメソッドがあります。しかし、TeraSortでは、setInputformat、setOutputFormatのようなものしか見るこ

0熱

2答えて

Apache PIGに関する質問

pigスクリプト/ map-reduceジョブの実行に関する質問はほとんどありません。私は豚が、それは本当に仕事を減らす/マップの実行を開始する前、論理的、物理的および実行はを計画して作成することを知っています。私はコマンドを使用して論理的/物理的な計画を見ることができます説明<エイリアス名>;しかし、どのように私は実行計画（私は異なるマップ/計画タスクを計画リスト）を表示するのですか？ブタの執

3熱

1答えて

App Engine abort mapreduce shard

私は残念ながら中断していないmapreduceプロセスを開始し、すべてのCPUを噛み砕いています。誰もこれをやめる方法を知っていますか？おかげで、リチャード

21熱

3答えて

GoogleのDremelとは何ですか？ Mapreduceとの違いは？

GoogleのDremelはdescribed hereです。 DremelとMapreduceの違いは何ですか？

6熱

1答えて

MongoDB/PyMongo：マップ関数でドット表記を使用するには？

私は各郵便番号にあるレコードの数を数えようとしています。私のMongoDBでは、郵便番号が埋め込まれています。ドット表記法を使用して、a.res.zに配置されています（aは住所、resはresidential、zはzip）。（私はPyMongoを使用していますので、pythonで）私はマップ機能をしようとすると db.NY.count({'a.res.z' : '14120'}) ：しかし

0熱

1答えて

MongoDBのテキストフィールドからUnigramのリストを生成する最も効率的な方法

ユニグラムのベクトルを生成する必要があります。つまり、特定のテキストフィールドに表示されるすべてのユニークワードのベクトルです。 MongoDBのより広いJSONオブジェクトこのベクターを生成する最も簡単で効率的な方法は何ですか。私は（OpenNLPのようなものを使って）トークン化を処理できる単純なJavaアプリケーションを書くことを考えていましたが、もっと良いアプローチはMongoのMap-R

3熱

2答えて

MapReduceまたはバッチジョブ？

私は多くのファイル（1000's）で呼び出される必要がある関数を持っています。それぞれは別のものと独立しており、並行して実行できます。各ファイルの関数の出力は、（現在）他のものと結合する必要はありません。（それぞれ別のファイルを持っている、それが動作 1）それ 2上のMapReduceを実行します）ジョブ1000年代を作成します。私は、私がこれを拡張することができ、サーバの多くを持っているが、私