0
点赞
收藏
分享

微信扫一扫

数据库之MySQL主从复制与读写分离

前言
在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。

一、MySQL 主从复制原理

MySQL 的主从复制和 MySQL 的读写分离两者有着紧密联系,首先要部署主从复制,只有主从复制完成了,才能在此基础上进行数据的读写分离。

1、MySQL 支持的复制类型

基于语句的复制(STATEMENT):在主服务器上执行的 SQL 语句,在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制,效率比较高。
基于行的复制(ROW):把改变的内容复制过去,而不是把命令在从服务器上执行一遍。
混合类型的复制(MIXED):默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

2、MySQL主从复制的工作过程

主MySQL服务器:Master
从MySQL服务器:Slave
image.png

1)Master 服务器保存记录到二进制日志

在每个事务更新数据完成之前,Master 服务器在二进制日志(Binary log)记录这些改变。写入二进制日志完成后,Master 服务器通知存储引擎提交事务。

2)Slave 服务器复制 Master 服务器的日志

Slave 服务器将 Master 服务器的二进制日志复制到其中继日志(Relay log)。
首先 Slave 服务器开始一个工作线程(I/O),I/O线程在 Master 服务器上打开一个普通的连接,然后开始 Binlog dump process。
Binlog dump process 从 Master 服务器的二进制日志中读取事件,如果 Slave 服务器已经跟上 Master 服务器,它会睡眠并等待 Master 服务器产生新的事件,I/O线程将这些事件写入中继日志。

3)Slave 服务器重放复制过来的日志

SQL slave thread(SQL从线程)处理该过程的最后一步,SQL线程从中继日志读取事件,并重放其中的事件而更新 Slave 服务器的数据,使其与 Master 服务器中的数据一致,只要该线程与 I/O 线程保持一致,中继日志通常会位于 OS 缓存中,所以中继日志的开销很小。
注意: 复制过程有一个很重要的限制,即复制在 Slave 服务器上是串行化的,也就是说 Master 服务器上的并行更新操作不能在 Slave 服务器上并行操作。

二、MySQL读写分离

1、读写分离的概念

读写分离基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2、读写分离存在意义

因为数据库的“写”(写10000条数据可能要5分钟)操作是比较耗时的。
但是数据库的“读”(读10000条数据可能只要3秒钟)。
所以读写分离,解决的是,数据库的写入,影响了查询的效率

3、什么时候要读写分离

数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。

4、MySQL 读写分离原理

读写分离就是只在主服务器上写,只在从服务器上读。
基本的原理是让主数据库处理事务性查询,而从数据库处理 select 查询。
数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

5、常见的 MySQL 读写分离

1)基于程序代码内部实现

在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优缺点:
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;
缺点是需要开发人员来实现,运维人员无从下手。
并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

2)基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序:
MySQL-Proxy:MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断。
Atlas:是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。
Amoeba:由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy需要写大量的Lua脚本,这些Lua脚本不是现成的,而需要自己编写,这对于并不熟悉MySQL Proxy内置变量和MySQL Protocol的人来说是非常困难的。
Amoeba是一个非常容易使用,可移植性非常强的软件,因此它在生产环境中被广泛用于数据库的代理层。

三、MySQL主从复制和读写分离实验部署

image.png
环境配置
主:192.168.74.76
从1:192.168.74.71
从2:192.168.74.73
Amoeba:192.168.74.72
客户机:192.168.74.74

将所有主机的防火墙和安全机制关闭
```html/xml
systemctl stop firewalld
systemctl disable firewalld
setenforce 0


#### 1、搭建 MySQL 主从复制
#### 1)Mysql主从服务器时间同步
```html/xml
yum -y install ntp

vim /etc/ntp.conf
##---------末尾添加---------
server 127.127.74.0          #设置本地是时钟源,注意修改网段
fudge 127.127.74.0 stratum 8 #设置时间层级为8(限制在15内)

service ntpd start

image.png
image.png
image.png
Slave1服务器:192.168.74.71
Slave2服务器:192.168.74.73
```html/xml
yum -y install ntp ntpdate

service ntpd start

/usr/sbin/ntpdate 192.168.74.76 #进行时间同步,指向Master服务器IP

crontab -e
/30 * /usr/sbin/ntpdate 192.168.163.76

两台服务器都要设置时间同步
![image.png](https://s2.51cto.com/images/20220627/1656318982757202.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)

![image.png](https://s2.51cto.com/images/20220627/1656319241863113.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### 2)主服务器的mysql配置
Master服务器:192.168.74.76
```html/xml
vim /etc/my.cnf
server-id = 1
log-bin=master-bin      #添加,主服务器开启二进制日志
log-slave-updates=true  #添加,允许从服务器更新二进制日志

systemctl restart mysqld

image.png
mysql -u root -p
#给从服务器授权
```html/xml
mysql -u root -p
#给从服务器授权
grant replication slave on . to 'myslave'@'192.168.74.%' identified by '123456';
flush privileges;

show master status;
#File 列显示日志名,Fosition 列显示偏移量


![image.png](https://s2.51cto.com/images/20220627/1656321124832695.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### 3)从服务器的mysql配置
两台从服务器都需要配置
Slave1服务器:192.168.74.71
Slave2服务器:192.168.74.73
```html/xml
vim /etc/my.cnf
#修改,注意id与Master的不同,两个Slave的id也要不同
server-id = 2
#添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log=relay-log-bin
#添加,定义中继日志文件的位置和名称
relay-log-index=slave-relay-bin.index

systemctl restart mysqld

image.png
```html/xml
mysql -u root -p
#配置同步,注意 master_log_file 和 master_log_pos 的值要与Master查询的一致,
change master to master_host='192.168.74.76' , master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603;

start slave; #启动同步,如有报错执行 reset slave;
show slave status\G #查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes,代表同步正常。
Slave_IO_Running: Yes #负责与主机的io通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程

![image.png](https://s2.51cto.com/images/20220627/1656324841257061.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
一般 Slave_IO_Running: No 的可能性:

网络不通
my.cnf配置有问题
密码、file文件名、pos偏移量不对
防火墙没有关闭
#### 4)验证主从复制效果
主服务器上进入执行 create database test;
![image.png](https://s2.51cto.com/images/20220627/1656325320416815.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
从服务器查看
![image.png](https://s2.51cto.com/images/20220627/1656325722309167.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220627/1656325804363001.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)

#### 2、搭建 MySQL 读写分离
### 1)Amoeba服务器配置
Amoeba服务器:192.168.74.72

#### (1)安装 Java 环境

因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。
```html/xml
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes,按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

image.png
image.png

(2)安装 Amoeba软件

```html/xml
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

![image.png](https://s2.51cto.com/images/20220628/1656406415823967.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### 2)在主从服务器的mysql上授权
Master服务器:192.168.74.76
Slave1服务器:192.168.74.71
Slave2服务器:192.168.74.73
先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
**三台服务器上都要设置**
```html/xml
 grant all on *.* to 'test'@'192.168.74.%' identified by 'abc123';

image.png

3)配置 Amoeba读写分离,两个 Slave 读负载均衡

Amoeba服务器:192.168.74.72

(1)修改amoeba配置文件

```html/xml
cd /usr/local/amoeba/conf/

cp amoeba.xml amoeba.xml.bak
vim amoeba.xml #修改amoeba配置文件
#---------30修改------------------------------
<property name="user">amoeba</property>
#---------32修改------------------------------
<property name="password">123456</property>
#---------115修改-----------------------------
<property name="defaultPool">master</property>
#---------117去掉注释–------------------------
<property name="writePool">master</property>
<property name="readPool">slaves</property>

![image.png](https://s2.51cto.com/images/20220628/1656408004378828.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220628/1656408270506562.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220628/1656412935314572.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220628/1656415690669123.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### (2)修改数据库配置文件
```html/xml
cp dbServers.xml dbServers.xml.bak

vim dbServers.xml
#---------23注释掉--------------------------------------
作用:默认进入test库 以防mysql中没有test库时,会报错
<!-- mysql schema
<property name="schema">test</property>
-->
#---------26修改-----------------------------------------
<!-- mysql user -->
<property name="user">test</property>
#---------28-30去掉注释----------------------------------
<property name="password">abc123</property>
#---------45修改,设置主服务器的名Master------------------
<dbServer name="master"  parent="abstractServer">
#---------48修改,设置主服务器的地址----------------------
<property name="ipAddress">192.168.74.76</property>
#---------52修改,设置从服务器的名slave1-----------------
<dbServer name="slave1"  parent="abstractServer">
#---------55修改,设置从服务器1的地址---------------------
<property name="ipAddress">192.168.74.71</property>
#---------58复制上面6行粘贴,设置从服务器2的名slave2和地址---
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.74.73</property>
#---------修改后的65或66修改-------------------------------------
<dbServer name="slaves" virtual="true">
#---------71修改----------------------------------------
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start&  #启动Amoeba软件,按ctrl+c 返回
netstat -anpt | grep java            #查看8066端口是否开启,默认端口为TCP 8066

image.png

image.png
image.png
image.png

4)测试读写分离

客户端:192.168.74.75
在客户端服务器上进行测试
使用yum快速安装MySQL虚拟客户端
```html/xml
yum install -y mysql mysql-server

mysql -u amoeba -p123456 -h 192.168.74.72 -P8066

![image.png](https://s2.51cto.com/images/20220628/1656417096946777.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)

通过amoeba服务器代理访问mysql ,在通过客户端连接mysql后写入的数据只有主服务会记录,然后同步给从服务器
在主服务器上
```html/xml
use test;
create table test (id int(10),name varchar(10),address varchar(20));

image.png
两台从服务器上
```html/xml
stop slave; #关闭同步
use test;

![image.png](https://s2.51cto.com/images/20220628/1656417671693027.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
在slave1上
```html/xml
insert into test values('1','slave1','this_is_slave1');

image.png
在slave2上
```html/xml
insert into test values('2','slave2','this_is_slave2');

![image.png](https://s2.51cto.com/images/20220628/1656417970833159.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
在主服务器上
```html/xml
mysql -u amoeba -p123456 -h 192.168.74.72 -P8066
insert into test values('3','master','this_is_master');

image.png
在客户端服务器上
```html/xml
use test;
select * from test; //客户端会分别向slave1和slave2读取数据,显示的只有在两个从服务器上添加的数据,没有在主服务器上添加的数据

insert into test values('4','client','this_is_client'); //只有主服务器上有此数据

![image.png](https://s2.51cto.com/images/20220628/1656421418525374.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220628/1656426403380629.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![image.png](https://s2.51cto.com/images/20220628/1656426516498672.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
```html/xml
start slave;

image.png

四、总结

1、主从同步原理
首先client端(tomcat)将数据写入到master节点的数据库中,master节点会通知存储引擎提交事务,同时会将数据以(基于行、基于sql、基于混合)的方式保存在二进制日志中
SLAVE节点会开启I/O线程,用于监听master的二进制日志的更新,一旦发生更新内容,则向master的dump线程发出同步请求
master的dump线程在接收到SLAVE的I/O请求后,会读取二进制文件中更新的数据,并发送给SLAVE的I/O线程
SLAVE的I/O线程接收到数据后,会保存在SLAVE节点的中继日志中
同时,SLAVE节点钟的SQL线程,会读取中继日志钟的熟,更新在本地的mysql数据库中
最终,完成slave——>复制master数据,达到主从同步的效果
2、如何查看主从同步状态是否成功
在从服务器内输入命令 show slave status\G,查看主从信息进行查看,里面有IO线程的状态信息,还有master服务器的IP地址、端口、事务开始号,

当 slave_io_running 和 slave_sql_running 都显示为yes时,表示主从同步状态成功

3、如果I/O和SQL不是yes呢,你是如何排查的
首先排除网络问题,使用ping命令查看从服务是否能与主服务器通信

再者查看防火墙和核心防护是否关闭

接着查看从服务器内的slave是否开启

两个从服务器的 server-id 是否相同导致只能连上一台

master_log_file 和 master_log_pos 的值要是否与Master查询的一致

4、show slave status能看到哪些信息(比较重要的)
IO线程的状态信息

master服务器的IP地址、端口、事务开始位置

最近一次的报错信息和报错位置等

5、主从复制慢(延迟)有哪些可能
主服务器的负载过大,被多个睡眠或者僵尸线程占用,导致系统负载过大

从库硬件比主库差,导致复制延迟

主从复制单线程,如果主库写并发太大,来不及传送到从库,就会导致延迟。

慢SQL语句过多

网络延迟

举报

相关推荐

0 条评论