Hadoop(23):Yarn调度器和调度算法

阅读 119

2022-05-04

目录

0. 相关文章链接

1. YARN调度器概述

2. 先进先出调度器(FIFO)

3. 容量调度器(Capacity Scheduler)

3.1. 容量调度器的特点

3.2. 容量调度器资源分配算法

4. 公平调度器(Fair Scheduler)

4.1. 公平调度器的特点

4.2. 公平调度器之缺额

4.3. 公平调度器队列资源分配方式

4.4. 公平调度器资源分配算法


0. 相关文章链接

Hadoop 文章汇总

1. YARN调度器概述

        目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。

具体设置详见:yarn-default.xml文件

2. 先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用;

3. 容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器。

3.1. 容量调度器的特点

3.2. 容量调度器资源分配算法

4. 公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。

4.1. 公平调度器的特点

与容量调度器相同点:

与容量调度器不同点:

4.2. 公平调度器之缺额

4.3. 公平调度器队列资源分配方式

 

4.4. 公平调度器资源分配算法


注:其他Hadoop相关系列文章链接由此进 -> Hadoop 文章汇总


精彩评论(0)

0 0 举报