目录
(2)专用备份工具 mysqldump 或 mysqlhotcopy
一、mysql日志管理
前言:
备份的主要目的是灾难恢复,备份还可以测试应用、回滚数据修改、查询历史数据、审计等。
MySQL 的日志默认保存位置为: /usr/local/mysql/data
1、日志类型与作用:
(1)redo 重做日志:达到事务一致性(每次重启会重做)
(2)undo 回滚日志
(3)errorlog 错误日志⭐⭐⭐
(4)slow query log 慢查询日志⭐⭐⭐
(5)bin log 二进制日志⭐⭐⭐⭐
(6)relay log 中继日志⭐⭐⭐⭐
(7)general log 普通日志
2、 MySQL日志相关配置文件
vim /etc/my.cnf
[mysqld]
##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启
log-error=/usr/local/mysql/data/mysql_error.log #指定日志的保存位置和文件名
##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启
log-bin=mysql-bin
或
log_bin=mysql-bin
##中继日志
一般情况下它在Mysql主从同步(复制)、读写分离集群的从节点开启。主节点一般不需要这个日志
##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便提醒优化,默认是关闭的
s1ow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5 #设置超过5秒执行的语句被记录,缺省时为10秒
1、 show variables like 'general%'; #查看通用查询日志是否开启
2、 show variables like 'log_bin%'; #查看二进制日志是否开启
3、 show variables like '%slow%'; #查看慢查询日功能是否开启
4、 show variables like 'long_query_time'; #查看慢查询时间设置
5、 set global slow_query_log=ON; #在数据库中设置开启慢查询的方法
注:variables 表示变量 like 表示模糊查询
6、二进制日志开启后,重启mysql 会在目录中查看到二进制日志
#开启二进制日志时会产生一个索引文件及一个索引列表
索引文件:记录更新语句
索引文件刷新方式:
1、重启mysql的时候会更新索引文件,用于记录新的更新语句
2、刷新二进制日志
mysql-bin.index:·二进制日志文件的索引
二、mysql备份
前言:
⭐备份的主要目的是灾难恢复
⭐在生产环境中,数据的安全性至关重要
⭐任何数据的丢失都可能产生严重的后果
⭐造成数据丢失的原因
1、备份类型
(1)物理备份⭐⭐⭐
数据库备份可以分为物理备份和逻辑备份。物理备份是对数据库操作系统的物理文件(如数据文
件、日志文件等)的备份。这种类型的备份适用于在出现问题的时候需要快速恢复的大型重要数据
库。
物理备份又可以成为冷备份(脱机备份)、热备份(连接备份)和温备份
⭐ 冷备份 (脱机备份) :是在关闭数据库的时候进行的(tar)
⭐ 热备份 (联机备份) :数据库处于运行状态,依赖于数据库的日志文件(mysqlhotcopy mysqlbackup 第三方工具)
⭐ 温备份 :数据库锁定表格(不可写入但可读)的状态下进行备份操作(mysqldump)
(2)逻辑备份⭐⭐⭐⭐⭐
逻辑备份是对数据库逻辑组件的备份.表示为逻辑数据库结构
这种类型的备份适用于可以编辑数据值或表结构
从数据库的备份策略角度来看,备份又可分为完全备份、差异备份和增量备份
差异备份会在特殊的场景使用
(3)备份方式比较
备份方式 | 完全备份 | 差异备份 | 增量备份 |
完全备份时的状态 | 表1、表2 | 表1、表2 | 表1、表2 |
第1次添加内容 | 创建表3 | 创建表3 | 创建表3 |
备份内容 | 表1、表2、表3 | 表3 | 表3 |
第2次添加内容 | 创建表4 | 创建表4 | 创建表4 |
备份内容 | 表1、表2、表3、表4 | 表3、表4 | 表4 |
逻辑备份的策略:增、全、差异
合理值区间⭐⭐⭐
2、常见的备份方法
(1)物理冷备
备份时数据库处于关闭状态,直接打包数据库文件(tar)
备份速度快,恢复时也是最简单的
缺陷:数据的实时性较差,不能在业务正常运行时进行tar备份 -》服务停止的时候(否则可能产生
数据丢失的情况)
(2)专用备份工具 mysqldump 或 mysqlhotcopy
mysqldump 常用的逻辑备份工具(mysql自带)
mysqlhotcopy 仅拥有备份 MyISAM 和 ARCHIVE 表
(3)启用二进制日志进行增量备份
进行增量备份,需要刷新二进制日志
(4)第三方工具备份
免费的MySQL 热备份软件 Percona XtraBackup mysqlbackup
3、MySQL完全备份
(1)优点:
⭐备份与恢复操作简单方便
(2)缺点:
⭐数据存在大量的重复
⭐占用大量的备份空间
⭐备份与恢复时间长
(一)、数据库完全备份分类
1、物理冷备份与恢复
关闭MySQL数据库
使用tar命令直接打包数据库文件夹
直接替换现有MySQL目录即可(/usr/local/mysql/data 数据目录)
2、mysqldump备份与恢复
MySQL自带的备份工具,可方便实现对MySQL的备份
可以将指定的库、表导出为SQL 脚本
使用命令mysq|导入备份的数据
实验:
MySQL完全备份与恢复
1、冷备份
原有的库和表
在执行压缩备份之前需关闭MySQL服务
systemctl stop mysqld
yum -y install xz
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
mv /usr/local/mysql/data/ /opt/
cd到opt下可查看 已备份
进入myslq进行删除操作
⭐⭐⭐ 冷备恢复
已恢复
注:tar备份恢复 需要在无人操作数据库的情况下 进行备份恢复
2、mysqldump 备份与恢复(温备份)
(1)完全备份一个或多个完整的库 (包括其中所有的表)
mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql #导出的就是数据库脚本文件
利用mysqldump进行一个备份 存放地址为opt下
mysqldump
首先备份对象是数据库
备份过程:
①先create数据库
②use数据库
③开始备份数据表
④在此之前,需要做环境清理
⑤locak锁定将要备份的数据表的写入操作
⑥然后只需insert语句进行插入操作
⑦完成备份、解锁
⑧继续进行下一章表的环境清理和准备
(2)完全备份 MySQL 服务器中所有的库
mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
(3)完全备份指定库中的部分表
mysqldump -u root -p[密码] 库名 [表名1] [表名2] ... > /备份路径/备份文件名.sql
#使用“-d”选项,说明只保存数据库的表结构
#不使用“-d"选项,说明表数据也进行备份
#做为一个表结构模板
(4)查看备份文件
grep -v "^--" /opt/kgc_info1.sql | grep -v "^/" | grep -v "^$"
3、MySQL完全备份与恢复
先进行一个备份
将此处的ruocheng库删除
⭐⭐⭐ 第一种方式恢复数据:
source命令
步骤:
登录到mysql数据库
执行source备份sql脚本的路径
已恢复
⭐⭐⭐ 第二种方式恢复数据:
将其表进行备份
将表删除
基于这个文件恢复表
输入 [root@localhost opt]# mysql -uroot -p123456 ruocheng < /opt/mysql_yaodian.sql
表已恢复
查看可直接利用-e在Linux下进行查看
[root@localhost opt]# mysql -uroot -p123456 -e 'select * from ruocheng.yaodian;
4、MySQL增量备份与恢复
MySQL数据库增量恢复(基于日志文件)
1.一般恢复
将所有备份的二进制日志内容全部恢复
2.基于位置恢复
数据库在某一时间点可能既有错误的操作也有正确的操作
可以基于精准的位置跳过错误的操作
发生错误节点之前的一个节点,上一次正确操作的位置点停止
3.基于时间点恢复
跳过某个发生错误的时间点实现数据恢复
在错误时间点停止,在下一个正确时间点开始
MySQL增量备份实验
1.开启二进制日志功能
vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED #可选,指定二进制日志(binlog)的记录格式为MIXED(混合输入)
server-id = 1 #可加可不加该命令
查看二进制日志文件的内容
cp /usr/local/mysql/data/mysql-bin.000002 /opt/
① mysqlbinlog --no-defaults /opt/mysql-bin.000002
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows:使用64位编码机制去解码(decode)并按行读取(rows)
#-v: 显示详细内容
#--no-defaults : 默认字符集(不加会报UTF-8的错误)
PS: 可以将解码后的文件导出为txt格式,方便查阅
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002 > /opt/mysql-bin.000002
二进制日志中需要关注的部分
1、at :开始的位置点
2、end_log_pos:结束的位置
3、时间戳: 210712 11:50:30
4、SQL语句
增量备份实验:
进入/etc/my.cnf下配置二进制日志
再次生成了二进制文件
创建了一个表
将解码后的文件导出为txt格式,方便查阅
可每天进行增量备份操作,生成新的二进制日志文件(例如:mysql-bin.000002)
验证
此时存放在 /usr/local/mysql/data中的mysql-bin.000002日志 是记录创建info表的
删除表
基于完整的二进制文件进行恢复
[root@localhost data]# mysqlbinlog --no-defaults mysql-bin.000001 | mysql -uroot -p123456
已恢复
断点恢复
创建一个表
将打错的最后一行进行断点恢复 此时数据备份存储位置是在mysql-bin.000003中
⭐⭐⭐ 基于位置点恢复
先将此二进制文件转义 并查看
可以看到uuu库的插入数据是的时间和sql语句 起始373
删除库
再起始373进行恢复
⭐⭐⭐ 基于时间点恢复
mysqlbinlog [--no-defaults] --start-datetime='年-月-日 小时:分钟:秒' --stop-datetime='年-月-日小时:分钟:秒' 二进制日志 | mysql -u 用户名 -p 密码
[root@localhost data]# mysqlbinlog --no-defaults --start-datetime='2022-04-08 22:10:31' mysql-bin.000006 | mysql -uroot -p123456
时间uuu库创建时间 此为start开始时间
如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start
小结
一、mysql备份与恢复
备份类型:
1、物理备份、逻辑备份
物理备份:冷备、热备、温备
(1)冷备:tar,需要关闭mysql服务,或者确保mysql服务在进行tar被分尸,没有客户端的写入操作
(2)温备Lmysqldump,这个是mysql自带的备份工具,特性,逐表备份,每备份一张表是,辉县
drop删除,然后重新create创建表结构,然后再锁表仅锁定写的操作,但可读),进行insert语句
的备份,备份完成后,进行unlocak解锁,然后继续备份下一个
(3)热备:xtrabackup mysqlhotcopy等热备工具(第三方),在mysql正常运行时,进行备份
2、逻辑备份:
(1)全量备份:tarmysqldump -u -p --all-databases
(2)增量备份:主要使用bin-log 二进制日志来完成备份,同事每个增量备份的文件,可以通过:
mysqladmin -u -p flush-logs 来刷新生成新的增备的日志文件,同事可以结合crontab完成自动刷新
在进行基于二进制文件的增倍恢复时,有必要的话,需要先恢复完备的数据,再逐个恢复增备的数据,直到恢复至我们需要恢复的数据为止
3、差异备份:需要选择保存入职的格式row(基于行)的备份方式
日志保存的类型
(1)混合模式mixde
(2)基于行rows
(3)基于SQL(默认)
myslq 回复的方式
1、tar zxvf 解压打包的/usr/local/mysql/data数据下的内容
2、使用mysqldump进行备份后,可使用两种方式进行恢复
(1)mysql -u -p 库名 < /opt/mysql_all.sql(备份数据的路径)
(2)mysql -u -p -e'source /opt/mysql_all.sql'直接使用source进行恢复
(3)基于日志:bin-log,首先开启二进制日志的配置log-bin=mysql-bin log-fromat=mixed
然后再、usr/local/mysql/data mysql工作目录下,会生成mysql-bin.00000x的二进制日志文件
接着使用mysqlbinlog --no-defaults 二进制日志路径 | mysql -u -p 基于完整的二进制日志文件进行恢复
基于位置点和时间点进行恢复:使用mysqlbinglog --no-defaults --base64 -output=decode-rows -v二进制日志文件路径,查看正确操作和需要跳过的错误操作的at(position位置点)和datetime(时间点)来进行恢复