0
点赞
收藏
分享

微信扫一扫

防止推特Twitter账号被冻结,应该选什么代理类型IP?

椰果玩安卓 2024-04-04 阅读 39

首先先从Yarn开始讲起,Yarn是Hadoop架构的资源管理器,可以管理mapreduce程序的资源分配任务调度

Yarn主要有ResourceManagerNodeManageApplicationMasterContainer
在这里插入图片描述

ResourceMange负责管理全局的资源

NodeManage(NM)负责管理单节点资源和监控任务,或者处理ResourceMange的命令

Applicationmaster负责用户提交一个任务程序中的一个管理者,负责向RM申请程序运行的资源,然后向NodeManage提交需要运行的程序。然后Container是集群资源的抽象,比如内存、CPU。

当客户端提交一个任务YarnRunner会在某个NM创建一个AM,然后AM将程序运行资源复制到本地节点中。

AM再根据程序需要运行的Task任务,向RM申请资源,然后AM将Task分配给NM,NM创建对应的容器,然后最终输出分区文件,在TASK运行过程中,NM会向AM汇报任务运行状态,然后AM还会根据MapTask运行的情况,提前申请运行ReduceTask资源,然后整个程序运行完,AM关闭退出

如果有多个任务队列,Yarn还会有自己的资源分配器

举报

相关推荐

0 条评论