您的当前位置:首页正文

[hadoop] yarn的组成架构及其各角色的作用

2024-11-20 来源:个人技术集锦

yarn工作机制详细步骤及流程图:

yarn是hadoop2.0后推出的资源调度框架,它由以下部分组成:

1)ResourceManager(RM)
(1)处理客户端请求
(2)监控NodeManager
(3)启动或监控ApplicationMaster
(4)资源的分配与调度

2)NodeManager(NM)
(1)管理单个节点上的资源
(2)处理来自ResourceManager的命令
(3)处理来自ApplicationMaster的命令

3)ApplicationMaster(AM)
(1)负责数据的切分
(2)为应用程序申请资源并分配给内部的任务
(3)任务的监控与容错

4)Container
(1)Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。

显示全文