mapreduce

0熱

1答えて

私はHadoop MapReduce Javaアプリケーション（ドライバ、マッパー、Reducers、...）をテストするためのクラスタシミュレータを探しています。各仮想ノードのタスクの実行であるHDFSをシミュレートできるものがありますか？私はパフォーマンスにはあまり関心がありません。Intel Core i7と16GBのRAMを搭載しているので、小さなクラスターをシミュレートするのに十分で

1熱

1答えて

スパークジョブがあるとACCEPTEDでHadoop - Sqoopジョブが実行されるRUNNING

現時点では、常に実行する必要があるスパークジョブ（java）があります。あまりにも多くのリソースを必要としません。しかし、私がsqoopジョブ（MapReduce）を実行するたびに、ジョブはAMコンテナの割り当て、起動、RMへの登録を待ってACCEPTEDとしてスタックされます。私はAmbariをチェックし、スケジュールのためのスパーク設定はFAIRです。テストのために、同じスパークジョブを2回

0熱

1答えて

MapReduceの結果を別のMapReduceに渡す方法（javaとhadoop）

私にはMapReduceを実行するために必要なファイルがCSV個あります。手前のデータ（Pythonまたは他のツール）に参加してからMapReduceまで実行するのが最善でしょうか？または最初のMapReduceを完成させてから.txtの結果を次のMapReduceに送り、要約して他のデータセットに結合しますか？私はJavaとHadoopを使用しており、私がオンラインで見つけた例から何かをまとめま

-1熱

1答えて

Hdfsファイルの行数

コマンドプロンプトで次のコマンドを実行すると、JavaのHDFSディレクトリの行数をカウントする方法はありますか？ hadoop fs -cat /abc/def/* | wc -l 特にmap-reduceまたはsparkコードを書く代わりにHADOOP APIを使用します。このような

0熱

1答えて

のHadoopのMapReduce WORDCOUNTプログラムが終了コードで失敗9009

私は正常にWindows上でのHadoopをインストールし語数プログラムを実行しようとしているが、取得、次のエラーマイHadoopのバージョンは2.6.5ですが、エラーでいますそれはまたException message: '2.6.5' is not recognized as an internal or external command.と言います私は解決策を検索しようとしましたが、論理的

-1熱

3答えて

Javascript：オブジェクト内の配列値を均等化する（ネストされた）

オブジェクト内の配列値をフラットにしたいと思います。下記のsampleのようになります。この解決策は、ecommerceにのみ適用されるのではなく、文字通り配列型としてオブジェクト内に存在する可能性があるものをすべて使用してください。例：私は出力になりたい var sample = { price: "999", description: "...", ecommer

0熱

1答えて

hadoopの値リストのすべてのペアを作成する

私はhadoopのために書いている小さなmap-reduceプログラムを持っています。プログラムの1つの要素はすべてのリストのペアを作成することです。プログラムの入力がある場合、例えば： item1 tag1 item2 tag1 item3 tag2 item4 tag1 item5 tag2 マイマップ機能は<tag, item>ペアを作成するので、減速機は、その入力として<tag

0熱

1答えて

Hadoopの - アブロ：java.lang.Exceptionを：java.lang.NoClassDefFoundErrorが：ORG /アブロ/ apacheの/ Hadoopの/ IO/AvroKeyComparator

私は地図を開発していますが、固定長レコードを読み、アブロファイルとして書き込むためのプログラムを削減します。これはドラフト形式です。実行中に、私は以下のエラーが表示されます。 java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/avro/hadoop/io/AvroKeyComparator at org.apa

0熱

1答えて

出力がhadoopで生成されていない

mapreduceを使用して各ウィジェットの平均値を求めようとしています。ジョブが正常に完了しますが、ユーザ/放浪/たとえば-1 /パート-R-00000 public static class MaxWidgetReducer extends Reducer<Text, FloatWritable, FloatWritable, NullWritable> { public voi

1熱

1答えて

多数のファイルに対して同時にmapreduceプログラムを実行するには？

私は大きなデータセットを処理しており、Mapreduceプログラムを実行しています。 Mapreduceは、3GB程度のサイズの単一ファイルで簡単に実行できます。すべてのファイルに対してmapreduceを実行したいと知っています。すべてのファイルに対して直接mapreduceを実行するためのショートカットや手法はありますか？ OS-Ubuntuの使用 Hadoop-2.7.1