mapreduce

1熱

2答えて

{ "_id" : ObjectId("59786a62a96166007d7e364dsadasfafsdfsdgdfgfd"), "someotherdata" : { "place1" : "lwekjfrhweriufesdfwergfwr", "place2" : "sgfertgryrctshyctrhysdthc ", "place3

0熱

2答えて

MapReduceの単語カウントがユニークなキーを取得

MapReduceが可能な最も単純な例でどのように動作しているかを理解しようとしています。「私は初心者です。私はジャガイモを食べます。私は「私は初心者」と「私はジャガイモを食べる」という2つの部分に分割し、2つのマッパーに送ります。これらのマッパは、私に答える：1秒間 I --> 1 am --> 1 a --> 1 newbie --> 1 最初のもののためと and --> 1

0熱

1答えて

Hadoop Oozie MapReduceアクションカスタムパーティショナー

MapReduceアクションのoozieワークフローXMLでカスタムパーティショナーを設定する方法は？私は使ってみました： <property> <name>mapreduce.job.partitioner.class</name> <value>com.package.MyPartitioner</value> </property> <property> <

0熱

1答えて

eclipse ideのmapreduceを使用してXMLfile処理のために "external jars"を追加するには

mapreduceを使ってxml入力ファイルを処理するにはEclipseのideに "jarファイルを追加"に追加するファイル私はジャーのMapReduceにpresetedされているファイルは、一般的な、一般的な-LIB、糸私はxmlファイルのデータ処理ための4つの上記以外の任意の他のjarファイルを追加する必要があるのですが輸入していますはあなたに感謝私をhealpください。

0熱

1答えて

お客様あたりの総請求額を取得

私は顧客（customerId、firstName、lastName、phoneNo、eMail）や請求書（invoiceId、invoiceDate、customerId）のようなドキュメントを持っているデータベースを持っています。ビューごとに顧客あたりの請求書の合計を取得したいと考えています。私は現在Fauxton 2.0を使用しています。私の見解は、現在、次のとおりです。 functi

2熱

1答えて

還元剤は複数のノードを動的に使用できますか？

MapReduceジョブのコードを記述する際に、手動でレジューサーの数を設定すると、特定のレデューサーに送信されるデータが大きくなる可能性があります。そのような場合、減速タスクは複数のノードで同時に実行できますか？おそらく、鍵に対応するList<Value>のデータを分割し、後で内部的にマージするか？還元剤が使用するノードの数をオートスケールできない場合は、キーに対応する値の分布が不均一な場合、

0熱

3答えて

MPIの各ノードのリストからグローバルtop-kを収集

私はMPIインスタンスを並列に実行しています。ある時点では、すべてのインスタンスに100個のランク付けされた値のリストがあります。私は今、すべてのインスタンスから上位100の値を収集したいと思っています。これはどのようにMPIで実行できますか？特化した機能はありますか？ありがとうございます！

1熱

2答えて

のHadoopストリーミングの仕組み

のHadoopのMapReduceの一部がストリーミングとして、我々は以下のコマンドを実行すると Hadoopのジャー/usr/lib/hadoop-mapreduce/hadoop-streamingxxxx.jar -input cities.txt -output streamout -mapper/bin/cat -reducer 'grep -i CA' 1）Javaベースのmapred

0熱

1答えて

SuiteScript 2.0 UserEventスクリプトを呼び出して電話をかける

午後。 Map Reduceスクリプトを呼び出すか使用するためのユーザーイベントスクリプトを取得しようとしています。私はMap Reduceスクリプトのコンセプトにはまったく新しいものであり、多くの運を持たずにリソースを探しています。本質的に、私がしたいことは、同じアイテム名を持つ開いているトランザクションを見つけ、そのアイテムのクラスをユーザーが設定した新しいアイテムに設定するMap Reduc

0熱

1答えて

hadoopマップタスクのタイムアウト

最近、マップタスクの試行タイムアウトエラーが発生しました。私はmapreduce.task.timeout=1800000以上の時間を変更しましたが、私の問題はまだ発生します。誰でもこのことについてお手伝いできますか？背景： Nutchを使用してウェブサイトをクロールしました。generateステージマップタスクが失敗しました。クローリングの各部分は約10〜20Gです。ノード間のリソース（メモ