目录
0. 相关文章链接
Hadoop 文章汇总
1. YARN调度器概述
目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。
具体设置详见:yarn-default.xml文件
2. 先进先出调度器(FIFO)
FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。
优点:简单易懂;
缺点:不支持多队列,生产环境很少使用;
3. 容量调度器(Capacity Scheduler)
Capacity Scheduler是Yahoo开发的多用户调度器。
3.1. 容量调度器的特点
3.2. 容量调度器资源分配算法
4. 公平调度器(Fair Scheduler)
Fair Schedulere是Facebook开发的多用户调度器。
4.1. 公平调度器的特点
与容量调度器相同点:
与容量调度器不同点:
4.2. 公平调度器之缺额
4.3. 公平调度器队列资源分配方式
4.4. 公平调度器资源分配算法
注:其他Hadoop相关系列文章链接由此进 -> Hadoop 文章汇总