Hadoop面试，有它就够了

在 Hadoop MapReduce 中，JobTracker 具有两种不合的职责：

治理集群中的计算资本，这涉及到保护晃荡节点列表、可用和占用的 map 和 reduce slots 列表，以及根据所选的调剂策略将可用 slots 分派给合适的功课和义务

调和在集群上运行的所有义务，这涉及到指导 TaskTracker 启动 map 和 reduce 义务，监督义务的履行，从新启动掉败的义务，推想性地运行迟缓的义务，计算功课计数器值的总和，等等

为单个过程安排大年夜量职责会导致重大年夜的可伸缩性问题，尤其是在较大年夜的集群上，JobTracker 必须赓续跟踪数千个 TaskTracker、数百个功课，以及数万个 map 和 reduce 义务。相反，TaskTracker 平日近运行十来个义务，这些义务由勤恳的 JobTracker 分派给它们。

二、shuffle combine

为懂得决可伸缩性问题，一个简单而又绝妙的设法主意应运而生：我们削减了单个 JobTracker 的职责，将部分职责委派给 TaskTracker，因为集群中有很多 TaskTracker。在新设计中，这个概念经由过程将 JobTracker 的双重职责(集群资本治理和义务调和)分开为两种不合类型的过程来反竽暌钩。

六、YARN 的长处

更快地MapReduce计算
对多框架支撑
框架进级更轻易

YARN

ResourceManager 代替集群治理器
ApplicationMaster 代替一个专用且短暂的 JobTracker
NodeManager 代替 TaskTracker
一个分布式应用法度榜样代替一个 MapReduce 功课

一个全局 ResourceManager 以重要后台过程的情势运行，它平日在专用机械上运行，在各类竞争的应用法度榜样之间仲裁可用的集群资本。

在用户提交一个应用法度榜样时，一个称为 ApplicationMaster 的轻量型过程实例会启动来调和应用法度榜样内的所有义务的履行。这包含监督义务，从新启动掉败的义务，推想性地运行迟缓的义务，以及计算应用法度榜样计数器值的总和。有趣的是，ApplicationMaster 可在容器内运行任何类型的义务。

NodeManager 是 TaskTracker 的一种加倍通俗和高效的版本。没有固定命量的 map 和 reduce slots，NodeManager 拥有很多动态创建的资本容器。

3/3 首页上一页 1 2 3

　　推荐阅读

　　边缘计算和雾计算如何改变IoT的应用方式

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践存眷科技范畴很难跟上行业的>>>详细阅读

本文标题：Hadoop面试，有它就够了

地址：http://www.17bianji.com/lsqh/39155.html

1/2 1