Hadoop/Sparkでのマルチスレッド化

Question

マルチスレッドに関する一般的な考え方はありますが、Hadoopでの使用方法は不明です。

私の知識に基づいて、YarnはSpark/Mapreduceジョブリソースの管理/制御を担当していますが、ここでマルチスレッドを考えることはできません。 Hadoop Eco Systemのどこにでも使用できるかどうかは不明です。

誰かがこれに関する情報を提供できるかどうかは分かります。

多くのおかげで、

Answer 1

実際に、糸は、アプリケーションマスターによって要求された（MR-AppMasterまたはスパークドライバー）コンテナのリソース割り当てと割り当て解除を管理する責任があります。したがって、それらの間のRPCはすべてリソース契約の交渉に関するものであり、MapReduceとSparkの内部でどのようにタスクが実行されているかは詳しく考慮されていません。

MapReduce-Hadoopの場合、各タスク（マッパーまたはレデューサー）はJVM上で実行される単一プロセスですが、ここではマルチスレッドを使用しません。

Sparkの場合、各エグゼキュータは実際には多くのワーカースレッドで構成されています。ここで、各SparkタスクはMapReduceの各タスク（単一プロセス）に対応しています。 Sparkはマルチスレッドモデルに基づいて実装しています。これは、JVMのオーバーヘッドとタスク間のデータシャッフルのために、
です。

私の経験に基づいて、マルチスレッドモデルはオーバーヘッドを低くしますが、フォールトトレランスの莫大なコストがかかります。 Sparkのエグゼキュータが失敗した場合、エグゼキュータ内で実行されているすべてのタスクを再実行する必要がありますが、MapReduceで再実行する必要があるタスクは1つだけです。また、エグゼキュータのすべてのタスクがRDDの観点からデータをキャッシュする必要があるため、Sparkは膨大なメモリ圧迫を受けます。しかし、Mapreduceタスクは一度に1ブロックしか処理しません。

希望すると便利です。