mapreduce

0熱

1答えて

Trying ClientProtocolProvider：org.apache.hadoop.mapred.YarnClientProtocolProvider

私はマルチノードクラスタでmapreduceアプリケーションを実行しています。私のアプリケーションはmapreduceジョブを起動していないため、org.apache.hadoop.mapredを取得できません。クライアントプロトコルとしてのYarnClientProtocolProvider - nullプロトコルを返しました。返されたLocalClientProtocolProviderでは

1熱

1答えて

hbase 1.2.6でorg.apache.hadoop.hbase.mapreduceおよびmapredパッケージが見つかりません

以前は0.94.1だった既存のプロジェクトのhbaseバージョンをアップグレードしようとしています。今は1.2.6にアップグレードします。 official websiteでは、mapreduceやmapredなどのパッケージやクラスを見ることができますが、見つけた瓶では利用できません。私はhbase-common hbase-annotationsとhbase-client jarを見つけました

0熱

2答えて

mapのキーで行を選択的に選択する方法reduce

私は以下のcsvファイルを5列あり、多くの行を持っています。しかし、私は最初の6行だけを表示しています。 Date,Food,Vitamin,Protein,NumStudents 01/01/17, Pasta, A, Yes, 560 01/01/17, Pizza, A, Yes, 730 01/01/17, Burrito, C, Yes, 240 02/01/17, Pizza,

-1熱

1答えて

JsonキーをSparkの列に変換する

データを読み取り、タプルから2番目の要素を選択するコードを記述しました。 2番目の要素はJSONです。私は列と行としてmarketplaceId、はcustomerIdなどのようなJSONのキーを持つデータフレームを作成したい、今すぐ {"data": {"marketplaceId":7,"customerId":123,"eventTime":1471206800000,"asin":"456

0熱

1答えて

CouchDBのキー値の名前付け方法

私は以前この質問をしましたが、明らかにしていないようです。ようCouchDBのビューから値を発光： {emit(doc.payload.creator, doc.payload.startTS);} は何とか「名前」や「ラベル」の結果と、それは可能ですか？キーを「作成者」、値を「開始時刻」として返したいと思います。あなたが別のフォーマットあなたの中にデータをエクスポートしたい場合は、必要な属

0熱

1答えて

InputSplits in mapreduce

私はMapreduceの学習を始め、いくつかの質問をしたいと思います。ここに行く：ケース1：入力形式としてFileInputFormat。処理されるべき複数のファイルを有するディレクトリは、入力パスである。 n個のファイルがある場合、hadoopクラスタ内のブロックサイズより小さいファイルすべてマップの分割数は、ジョブを減らすために計算されますか？ 2）MyFileInputFormatというク

0熱

1答えて

コンテナ発射の例外exitCode = 1 hadoop

cygwinなしでwindowsにhadoop 2.8.1をインストールしました。私はstart-all.cmdによってhadoopを開始することができます。しかし、私はwordcount.jarを実行すると、私はエラーの下に取得コマンド：Hadoopの瓶WordCount.jar WORDCOUNT G：システムができません：userlogs中/ Hadoopの入力/出力 Applicatio

0熱

2答えて

スパークgroupByKeyを使用して、シャッフルオーバーヘッドの多いRDDを無効にします

私はキーと値のペアRDDを持っています。 RDDには重複キーを持つ要素がいくつか含まれています。元のRDDを2つのRDDに分割します.1つは固有のキーで要素を格納し、もう1つは残りの要素を格納します。例えば、入力RDD（全部で6つの要素）： <k1,v1>, <k1,v2>, <k1,v3>, <k2,v4>, <k2,v5>, <k3,v6> 結果：ユニークキーRDD（ユニークキーで格納

1熱

1答えて

bashで5つの並行プロセスを開始するキックスタート

datafolderという名前のフォルダが5つのCSVファイルを含むaa.csv ab.csv ac.csv ad.csv ae.csv各CSVファイルには、日付、製品タイプ、名前、住所などのExcelシートのデータが含まれています。 2番目の列はproductという名前です。基本的に私がしたいのは、ジョブマスタースクリプトがファイルの数をdatafolderに数えてから、個々のファイルごとにマッ

0熱

1答えて

なぜorg.apache.hadoop.io.Writableをorg.apache.hadoop.io.IntWritableにキャストできないのですか？

私のmapreduceアプリケーションはこのようになります。私は、文字列からの3つの値 public class StockCount { public static class MapperClass extends Mapper<Object, Text, Text, IntArrayWritable> { public void map(Object key,