mapreduce

    0

    1答えて

    k-meansアルゴリズムを実行するmap reduceプログラムを作成しようとしています。私はmap reduceを使うのが反復アルゴリズムを実行する最善の方法ではないことを知っています。 私はマッパークラスとレデューサークラスを作成しました。 マッパーコードで入力ファイルを読みました。 map reduceが完了したら、結果を同じ入力ファイルに保存します。どのように出力ファイルをマッパーから入

    0

    1答えて

    map reduceを使用してalluxioにデータを書き込もうとしています。私は、alluxio.Itに書いているhdfsに関するデータを約11ギガバイト持っています。これは、MUST_CACHE書込みタイプ(alluxio.user.file.writetype.defaultのデフォルト値)でうまく動作しています。 しかし、私はそれが次の例外で失敗している、CACHE_THROUGHを使用し

    3

    1答えて

    私はMongoDBを初めて使いました。本当にありがとうございます。 MongoDBのJavaドライバ3.4.2を使ってmap/reduceを実行しようとしています。 は、私はそのようなこの1などの文書を持っているコレクションcollectionAを持っている:私はMyArrayというのすべての組み合わせを取得したいと思い { "_id" : ObjectId("5a29a6757c5de

    0

    1答えて

    私はJavaでMR2ジョブを持っています。 コンテナ内のコンテナキルを検出して処理することは可能ですか? 私は Runtime.getRuntime().addShutdownHook(new Hooker(this)); ようなコードを使用しようとしたが、フッカークラスのインスタンスからのログは見つからなかったがありました。 このコンテナのJavaヒープダンプを取得することは可能でしょうか?

    2

    2答えて

    私はMapReduceのコードから奇妙な出力を取得していますに影響を与えません。 入力: aa bb aa cc bb aa cc dd dd bb xx aa ss rr 出力: aa [email protected] aa [email protected] aa [email protected] aa [email protected] bb [email pro

    0

    1答えて

    MapReduceアーキテクチャを使用してHadoopフレームワークに基づくJavaクローラを実装し、HBaseにコンテンツを挿入したいと考えています。 私はこの2つのチュートリアルを結合しよう: Basic web crawler example MapReduce tutorial しかし、私は概念を理解することはできません。ページからリンクを抽出するロジックを置く場所はどこですか?マッパーの

    0

    1答えて

    のタプルの唯一の2要素にreduceByKeyする私は[( '成功'、 ''、1)、(」この のように見えるマップの結果を持っています'something_random'、1)] ( 'エラー'、 'エラー'、 'something_random'、1)、( 'エラー'、 'something_random'、1) としてendupへの鍵で減らすとそこの方法です: [( '成功'、2)、( 'エラ

    0

    1答えて

    私は複数の結合を持つSQLを持っています。 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 上記は、過去数時間にわ

    0

    1答えて

    私が読んで:あなたは内のノードよりも少ない数が少なすぎるタスクを(持っている場合のMapReduceで 地図タスクは、通常その 、一度に一つのブロックを操作しますクラスタ)、あなたのジョブはそうでない場合よりも遅く実行されます この文は、HDFSブロックサイズについての段落にありますが、その意味を理解していません。 私を助けることができますか?

    0

    1答えて

    減速機に送信するが、私はこのエラーが表示されます: Exception in thread "main" java.lang.NoSuchMethodError:org.apache.hadoop.mapred .InputSplit.write(Ljava/io/DataOutput;)V どうすればよいですか? 誰でも手伝ってもらえますか? これは私のマッパーである:私はhadoopmap