0
点赞
收藏
分享

微信扫一扫

[MySQL]浅谈InnoDB存储引擎(三)InnoDB的Master Thread

蒸熟的土豆 2021-12-29 阅读 83

回顾

InnoDB 1.0.x之前的Master Thread

Master Thread是InnoDB中线程优先级最高的线程。它的内部有多个轮询的方法:

  1. 主循环loop.
  2. 后台循环background loop.
  3. 刷新循环flush loop.
  4. 暂停循环suspend loop.
主循环 Loop

Loop被称为主循环,也就是大部分的工作都发生在这个循环中。它有两大部分的行为:

  • every second(每秒).
  • every 10 seconds(每10秒).

以下用java伪代码来描述这个行为

    public static void masterThread() throws InterruptedException {
while (true) {
for (int i = 0; i < 10; i++) {
//每秒需要执行的任务,详细信息看下面解析
syncFlushRedoLogToDisk();

if(lastOneSecondIOs < 5){
mergeMostFiveInsertBuffer();
}

if(buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct){
flushDirtyPages(100);
}

if(userActivity.size() = 0){
backgroundLoop();
}

//如果有必要,那么睡眠 1S
if (isNecessary) {
Thread.sleep(1000);
}
}
// 每10秒需要执行的任务
}
}
每秒需要做的操作
  • 日志缓冲刷新到磁盘,即使当前事务没有提交(always).
  • 合并插入缓冲(maybe).
  • 至多刷新100个InnoDB的缓冲池中的脏页到磁盘(maybe).
  • 如果当前没有用户活动,则切换到background loop(maybe).
每10秒需要做的操作
  • 刷新100个脏页到磁盘(maybe).
  • 合并最多5个插入缓冲(always).
  • 将日志缓冲刷新到磁盘(always).
  • 删除无用的Undo页(always).
  • 刷新100个或者10个脏页到磁盘(always).
    public static void masterThread() throws InterruptedException {
while (true) {
for (int i = 0; i < 10; i++) {
// 每秒需要执行的任务
// 将日志信息刷新到磁盘
syncFlushRedoLogToDisk();

// 如果上一秒发生的IO大于5,则执行插入缓冲合并
if (lastOneSecondIOs < 5) {
mergeMostFiveInsertBuffer();
}

// 如果当前脏页比例超过90%,刷新100个脏页到磁盘
if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) {
flushDirtyPages(100);
}

// 如果当前没有用户活动,进入backgroundLoop
if (userActivity.size() = 0) {
backgroundLoop();
}

//如果有必要,那么睡眠 1S
if (isNecessary) {
Thread.sleep(1000);
}
}
// 每10秒需要执行的任务
// 如果上一秒发生的IO大于200
if (lastOneSecondIOs < 200) {
// 刷新100个脏页到磁盘
flushDirtyPages(100);
}
// 合并插入缓冲
mergeMostFiveInsertBuffer();
// 将日志信息刷新到磁盘
syncFlushRedoLogToDisk();
// 回收无用的undo页
fullPurge();


// 如果脏页比例>70%
if (buf_get_modified_ratio_pct > 0.7) {
// 刷新100个脏页到磁盘
flushDirtyPages(100);
} else {
// 刷新10个脏页到磁盘
flushDirtyPages(10);
}
// 如果当前没有用户活动,进入backgroundLoop
if (userActivity.size() = 0) {
backgroundLoop();
}
}
}
background loop

如果当前没有用户活动(数据库空闲时间)或者数据库关闭(shutdown),就会切换到这个循环。它执行的操作为:

  • 删除无用的Undo页(always).
  • 合并20个插入缓冲(always).
  • 不断刷新100个页直到符合条件(可能,跳转到flush loop中完成).
  • 跳回到主循环(always).

InnoDB 1.2.x之前的缺陷

  • 对IO有限制。从解析中可以看到,刷新脏页数等都是固定死的参数,无法适配当前磁盘的发展。当前的SSD固态磁盘写入的性能得到了很好的改善,但是由于hard coding,这无法得到较好的配置。
  • innodb_max_dirty_pages_pct的默认值过大,想象一下你有90%的衣服没洗你才去洗衣服,这是多么悲催的事情。因此不要堆积过多的未完成事项。
InnoDB对此做出的优化-innodb_io_capacity和innodb_max_dirty_pages_pct.

innodb_io_capacity:

解决这种写死参数的方法很简单,就是把它做出配置项,动态注入到代码中即可,对此,InnoDB提供了innodb_io_capacity让用户来对IO进行控制。默认值为200,它表示磁盘的IO吞吐量为200.
配置:

合并缓冲大小 = innodb_io_capacity * 5;
刷新脏页数量 = innodb_io_capacity;

如果你使用的是SSD的磁盘获取将部分磁盘做了RAID,也就是你的磁盘拥有更高的IO速度时,可以放心把innodb_io_capacity调大一些,直到符合磁盘的IO吞吐量为止。


innodb_max_dirty_pages_pct:
调整的过小也是不好的,这样会频繁地发生刷新脏页的IO操作。InnoDB官方设定的是75%,谷歌得出的结论是80%.这样,脏页的刷新频率得到了相应的提升,磁盘IO负载也得到了保证。


innodb_purge_batch_size
这个简单提一下,这是一个可以控制Undo页回收数量的参数,有需要可以进行调整。

InnoDB 1.2.X版本的Master Thread

InnoDB引入了Page Cleaner Thread.把刷新脏页的操作交给它来执行。这样减轻了Master Thread的工作,同时进一步提高了系统的并发性。

举报

相关推荐

0 条评论