1つのシステムの入力が他のシステムの出力に依存している場合、ハープープではどうなりますか？

Question

Hadoopシステムでは、あるシステムの入力が他のシステムの出力に依存する場合、並列計算は達成されません。

この問題を解決する方法はありますか？ 詳しい解決策やリソースへのリンクを提供してください。

Answer 1

質問は少し曖昧ですが、幸いにも一般的な回答があります。

たとえば、依存関係のために、1つのマップ削減段階ですべてを行うことができない場合は、複数の段階で実行できます。

簡単な例は次のようになります。もちろん

マップ減らすマップ-減らす

---

線2の全ての処理は、次に、ライン1の最後の処理に依存している場合、これは、制限がありますライン1とライン2を並行して処理することは基本的に不可能です。