mapreduce

-1熱

1答えて

親のJSONをフィルタリングして親のノード名とその中のいくつかの子ノードをフィルタリングしてJSONを作成しようとしています。それをやっている間、私は次のエラー Cannot read property 'filter' of undefined at data.children.filter.map.Object.assign.children.o.children.reduce https:/

1熱

1答えて

ハーフ・レデューサーが100％進捗しましたが終了しません

私は16のリダクション・タスクで1つのハーフ・ジョブを実行しています。（hadoop-1.2.1）いくつかは100％進歩していますが、終了しないものもあります。彼らは100％で立ち往生し、ジョブクリーンアップ：保留中です。ステータスには「reduce> reduce」と表示されます。ジョブが多すぎる複数の出力を書き込むため、この問題が発生すると思います。（約50〜100の多出力）しか

0熱

1答えて

sqoopジョブにvcoresを設定する方法

sqoopは実行のためにどのようにvcoresを取得しますか？私は、4つのマッパーを持つsqoopジョブを提出し、利用可能な約50のvcoresがある場合でもアプリケーションは1つのvcoreから開始します。したがって、parelllizationはありません。これは、テキストファイルへのインポートsqoopジョブです。これらは、vcroreの割り当てに関する糸のコンフィギュレーションパラメタです

5熱

2答えて

茹でダウンイベント

シナリオ：例えば #TimeStamp, Name, ColorOfPullover TimeStamp01, Peter, Green TimeStamp02, Bob, Blue TimeStamp03, Peter, Green TimeStamp04, Peter, Red TimeStamp05, Peter, Green イベント：私はこのCSVの例のようなイベントをロ

0熱

1答えて

分割スパークデータフレームおよび1つの列値

に基づいて平均値計算私は2つのデータフレームを持っている： Class, Calculation first, Average Second, Sum Third, Average セカンドデータフレームstudentRecordは、以下のように周り50Kエントリ有する：まずデータフレーム classRecordは、次のような10個の異なるエントリを有します Name, height,

2熱

1答えて

MapReduceでより多くのレデューサーを使用するメリットとデメリットは何ですか？

MapReduceプログラミングはすべて並列処理に関するものですから、多くの場合、なぜ単一の減速機から始めるのでしょうか。 MapReduceでより多くの減速材を使用するメリットとデメリットは何ですか？

0熱

2答えて

HDFS内の/ tmpフォルダにアクセスできない

ローカルマシン上でnode、datanode、およびmrという名前のサービスを開始し、すべてのサービスが実行されています。次に、jpsコマンドの結果を示します。 kv:~ karan.verma$ jps 4499 SecondaryNameNode 420 4676 NodeManager 4741 JobHistoryServer 5125 Jps 4406 DataNode 4

0熱

1答えて

は

を減らして2つのファイルの内容を参加：最初のファイル（従業員名のデータを含む） id,name 101,Gaurav 102,Rohit 103,Karishma 104,Darshan 105,Divya セカンドファイルを（従業員部門のデータを含む） id,dept 101,Sales 102,Research 103,NMG 104,Admin 105,HR =

0熱

2答えて

Hadoopマッパーは、部分的に次のブロックに流出するレコードでどのように動作しますか？

MapReduce、特に以下のクエリを覚えようとしています。 HDFSのデータはブロックに分割され、通常は一度に1つのブロックで動作します。私たちはrecordが別のブロックにこぼれ落ちることがあります。たとえば、データセット：「こんにちは、どうしていますか」;このデータは2つの異なるブロックに流出する可能性があります。ブロック1： hello, how a ブロック2：マッパーがブロック

0熱

1答えて

Hadoopのさまざまなタイプのデータセットに対するMapReduceのレコード定義ですか？

MapReduce HadoopのRecordの定義をText以外のデータ型について理解したいと思います。通常、Textの場合、レコードは新しい行でフルラインで終了します。 XMLデータを処理したい場合、このデータはどのように処理されますか、つまりRecordの定義にはどのようにしてmapperが機能しますか？私はInputFormatとRecordReaderのコンセプトがあると読んだが、う