0
点赞
收藏
分享

微信扫一扫

Hadoop(23):Yarn调度器和调度算法

腊梅5朵 2022-05-04 阅读 115

目录

0. 相关文章链接

1. YARN调度器概述

2. 先进先出调度器(FIFO)

3. 容量调度器(Capacity Scheduler)

3.1. 容量调度器的特点

3.2. 容量调度器资源分配算法

4. 公平调度器(Fair Scheduler)

4.1. 公平调度器的特点

4.2. 公平调度器之缺额

4.3. 公平调度器队列资源分配方式

4.4. 公平调度器资源分配算法


0. 相关文章链接

Hadoop 文章汇总

1. YARN调度器概述

        目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。

具体设置详见:yarn-default.xml文件

2. 先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用;

3. 容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器。

3.1. 容量调度器的特点

3.2. 容量调度器资源分配算法

4. 公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。

4.1. 公平调度器的特点

与容量调度器相同点:

与容量调度器不同点:

4.2. 公平调度器之缺额

4.3. 公平调度器队列资源分配方式

 

4.4. 公平调度器资源分配算法


注:其他Hadoop相关系列文章链接由此进 -> Hadoop 文章汇总


举报

相关推荐

0 条评论