Map/Reduce関数でデータを取り出す方法は？

Hadoop : The Definitive Guideによると、Map/Reduce関数でデータを取り出す方法は？

新しいAPIは、「プッシュ」スタイルと「プル」スタイルの両方をサポートしています。両方のAPIでは、キーと値のレコードのペアがマッパーにプッシュされますが、さらに、新しいAPIにより、マッパーはmap（）メソッド内からレコードを取得できます。同じことが減速機にも当てはまります。「プル」スタイルがどのように役立つかの例は、1つずつではなく、バッチでレコードを処理することです。

誰かがMap/Reduce機能でデータをプルしましたか？私はAPIやその例に興味があります。

出典

2011-09-24 Praveen Sripati

@ [email protected]というクエリを投稿し、その答えを得ました。

次のキー値のペアは、nextKeyValue()を呼び出して、マップに渡されるコンテキストオブジェクトから取得できます。したがって、新しいAPIで次のデータを引き出すことができます。

このシナリオでプッシュよりもプルのパフォーマンスが優れていますか？また、プルが有用なシナリオは何ですか？

出典

2011-09-26 13:10:37

このシナリオは、現在のキー/値の処理が次のキー値のペアに依存する場合に役立つと思います。 –

古いAPIと新しいAPIを使っていた可能性があります。しかし、その課題は、データがブロック全体に広がっている状況を処理することです。 –

どうすれば元のAPIでそれを行うことができますか？ –

Map/Reduce関数でデータを取り出す方法は？

答えて

関連する問題