0
点赞
收藏
分享

微信扫一扫

MySQL数据库———————MySQL主从复制

林塬 2022-04-15 阅读 40
mysql

目录

一、案例概述

二、mysql主从复制原理

1、mysql的复制类型

2、mysql主从复制的工作原理

三、mysql读写分离原理

四、部署主从同步

1、主从服务器设置时间同步

2、服务器安装mysql

3、配置数据库规则

五、部署读写分离

1、安装amoeba

2、配置读写分离

测试master服务器的写

 六、总结


一、案例概述

  •  在企业应用中,成熟的业务通常数据量都比较大
  •  单台 Mysql 在安全性、高可用性和高并发方面都无法满足实际的需求
  •  配置多台主从数据库服务器以实现读写分离

二、mysql主从复制原理

1、mysql的复制类型

  •  基于语句的复制
  •  基于行的复制
  •  混合类型的复制

2、mysql主从复制的工作原理

  •  主服务器 master 记录数据库通过 dump 线程将操作记录到 Binary log
  •  从服务器开启 I/O 线程向主服务器发送同步日志请求
  •  主服务器把二进制日志内容发送给从服务器
  •  从服务器将二进制日志记录的操作同步到relay log (中继日志) (存在从服务器的缓存中)
  •  从服务器中的sql线程将relay log日志记录的操作在从服务器执行后写入从服务器数据库。
     

 

三、mysql读写分离原理

1、原理

读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性查询,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

2、为什么要做读写分离

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。

但是数据库的“读”(读10000条数据可能只要5秒钟)。

所以读写分离,解决的是,数据库的写入,影响了查询的效率

PS:什么时候用读写分离

数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询(select)多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。

3、实现方式

常见的 MySQL 读写分离分为以下两种:

① 基于程序代码内部实现

在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。

优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

② 基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序。

(1)MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua脚本进行SQL 判断。

(2)Atlas是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。

(3)Amoeba。由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

Amoeba:是一个以MySql为底层数据存储,并对应提供MySQL协议接口的proxy(代理),外号变形虫

读取请求发送给从服务器是,采用轮询调度算法

amoeba使用的java语言编写,配置文件为xml

amoeba主要负责对外的一个代理IP

访问这个IP时,发送的请求为“写”请求,则会转给主服务器

当发送的请求为“读”时,会通过调度转发给从服务器,使用轮询算法,轮流分配给两台从服务器

amoeba可以视为调度器,如果主服务器挂掉(单点故障),则会有MHA解决这个问题

 

四、部署主从同步

1、主从服务器设置时间同步

①、主服务器(192.168.174.10)

yum -y install ntp

vim /etc/ntp.conf
末行添加
fudge 127.127.184.0 stratum 10					#设置时间层级为10(限制在15内)
server 127.127.184.0							#设置本地是时钟源,注意修改网段


systemctl start ntpd

 

 

 ②、从服务器(192.168.174.7,192.168.184.27)

yum -y install ntp ntpdate

systemctl start ntpd
/usr/sbin/ntpdate 192.168.184.10			#进行时间同步,指向Master服务器IP

systemctl stop firewalld 
setenforce 0

 

 两台从服务器相同操作

2、服务器安装mysql

创建 mysql 用户
useradd -s /sbin/nologin mysql

#安装依赖包
yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
ncurses-devel \
autoconf \
cmake

#编译
cd /opt/mysql-5.7.20   
cmake  \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DEXTRA_CHARSETS=all \
-DSYSCONFIDIR=/etc \
-DMYSQL_DATADIR=/home/mysql/ \
-DMYSQL_UNIX_ADDR=/home/mysql/mysql.sock

make && make install



#支持环境变量(mysql命令)
echo export PATH=$PATH:/usr/local/mysql/bin/ >>/etc/profile
export PATH=$PATH:/usr/local/mysql/bin/
source /etc/profile

cd /opt/mysql-5.6.26
cp support-files/my-default.cnf /etc/my.cnf

为保证安全,根据最小权限原则,给予myql目录权限
chown -R mysql.mysql /usr/local/mysql/

cp support-files/mysql.server /etc/init.d/mysqld
chmod 755 /etc/init.d/mysqld
chkconfig --add /etc/init.d/mysqld
chkconfig mysqld --level 35 on

vi /etc/init.d/mysqld
#修改数据文件目录和工作目录
basedir=/usr/local/mysql
datadir=/home/mysql

/usr/local/mysql/scripts/mysql_install_db \
--user=mysql \
--ldata=/var/lib/mysql \
--basedir=/usr/local/mysql \
--datadir=/home/mysql


service mysqld start

3、配置数据库规则

①、主服务器 

vim /etc/my.cnf
server_id = 1
log_bin=master-bin							#添加,主服务器开启二进制日志
log_slave=updates=true						#添加,允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
#给从服务器授权,允许其复制所有数据库的所有表(第一个账户)
grant replication slave on *.* to 'myslave'@'192.168.174.%' identified by '123456';			

flush privileges;

查看master数据库状态
show master status\G

 

 

 ②、从服务器

vim /etc/my.cnf
server-id = 2						#修改,注意id与Master的不同,两个Slave的id也要不同
relay-log=relay-log-bin						#添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加,定义中继日志文件的位置和名称

systemctl restart mysqld

mysql -u root -p
change master to master_host='192.168.174.10' , master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=2385;
#配置同步,注意 master_log_file 和 master_log_pos 的值要与Master查询的一致,这里的是例子,每个人的都不一样

start slave;						#启动同步,如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态

确保 IO 和 SQL 线程都是 Yes,代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

 

小结:

MySQL主从复制与读写分离是密切相关的,介绍了MySQL的主从复制(同步),紧接着下一篇会介绍MySQL读写分离

这里简单介绍一下二进制日志:

MySQL的二进制日志是一个二进制文件,主要用于记录修改数据或有可能引起数据变更的SQL语句

二进制日志中记录了对MySQL数据库执行更改的所有操作,并且记录了语句发生时间、执行时长、操作数据等其他额外信息,但是它不记录SELECT 、SHOW等不修改数据的SQL语句。

二进制日志主要用于数据库恢复(⭐⭐)和主从复制及审计操作。

PS:如果同步失败可使用以下方法尝试解决

#忽略当前的错误执行下一步的同步

先 stop slave;

① slave数据库中:SET GLOBAL sql_slave_skip_counter=1;

START SLAVE;

问题:I/O线程 一直处于connecting

第一件事,看laster error,报错项内容是为支点找不到

先 stop slave;

② slave数据库中:CHANGE MASTER TO master_log_file=‘mysql-bin.000001’,master_log_pos=0;

首先遇到这个是因为binlog位置索引处的问题,生产环境下不要直接reset slave(删除change master 操作的);

reset slave会将主从同步的文件以及位置恢复到初始状态,一开始没有数据还好,有数据的话,相当于重新开始同步,可能会出现一些问题;

一般做主从同步,都是要求以后的数据实现主从同步,而对于旧的数据完全可以使用数据库同步工具先将数据库同步,完了再进行主从同步;

好了遇到上面的问题,正确做法是:

1.打开主(master)服务器,进入mysql

2.执行flush logs;//这时主服务器会重新创建一个binlog文件;

3.在主服务上执行show master status\G;显示如下:

4.来到从服务器的mysql;

5.stop slave;

6.change master to master_log_file='mysql-bin.000012',master_log_pos=154;//这里的file和pos都是上面主服务器master显示的。

7.start slave; //这时候就应可以了

8.show slave status\G;

五、部署读写分离

1、安装amoeba

将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes,按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

 

2、配置读写分离

①、服务器上配置amoeba对接 

grant all on *.* to test@'192.168.174.%' identified by '123456';

 ②、amoeba服务器上配置服务器对接

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

##配置 Amoeba读写分离,两个 Slave 读负载均衡##
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
grant all on *.* to 'test'@'192.168.174.%' identified by '123456';

 

 ②、amoeba服务器上配置服务器对接

cd /usr/local/amoeba/conf/

cp amoeba.xml{,.bak}
vim amoeba.xml									#修改amoeba配置文件

30修改
<property name="user">amoeba</property>

32修改
<property name="password">010230</property>

115修改
<property name="defaultPool">master</property>

117去掉注释–
<property name="writePool">master</property>
<property name="readPool">slaves</property>


cp dbServers.xml{,.bak}
vim dbServers.xml								#修改数据库配置文件

23修改
<property name="schema">mysql</property>

26修改
<!-- mysql user -->
<property name="user">test</property>

28-30去掉注释
<property name="password">010230</property>

45修改,设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">

48修改,设置主服务器的地址
<property name="ipAddress">192.168.184.10</property>

52修改,设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">

55修改,设置从服务器1的地址
<property name="ipAddress">192.168.184.20</property>

58复制上面6行粘贴,设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.184.40</property>

65修改
<dbServer name="slaves" virtual="true">

71修改
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start &					#启动Amoeba软件,按ctrl+c 返回
netstat -anpt | grep java							#查看8066端口是否开启,默认端口为TCP 8066

 

 

 

 

 

 

 

 3、测试读写分离

下载 mariadb 客户端
yum -y install mariadb

systemcrl stop firewalld
setenforce 0

远程登录 amoeba 服务器
mysql -u amoeba -p123456-h 192.168.174.27 -P8066
客户端上测试:
yum install -y mysql mysql-server

mysql -u amoeba -p123456 -h 192.168.174.10 -P8066	

通过amoeba服务器代理访问mysql ,在通过客户端连接mysql后写入的数据只有主服务会记录,然后同步给从服务器

测试master服务器的写

从服务器:

在这里插入图片描述

 主服务器:

在这里插入图片描述

 

从服务器:

在这里插入图片描述

测试slave服务器的读在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 六、总结

1、主从同步原理

  • 通过amoeba代理服务器,实现只在主服务器上写,只在从服务上读;
  • 主数据库处理事务性查询,从数据库处理 select 查询;
  • 数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库

2、如何查看主从同步状态是否成功

  • 在从服务器内输入命令 show slave status\G,查看主从信息进行查看,里面有IO线程的状态信息,还有master服务器的IP地址、端口、事务开始号,
  • 当 slave_io_running 和 slave_sql_running 都显示为yes时,表示主从同步状态成功

3、如果I/O和SQL不是yes呢,你是如何排查的

  • 首先排除网络问题,使用ping命令查看从服务是否能与主服务器通信
  • 再者查看防火墙和核心防护是否关闭
  • 接着查看从服务器内的slave是否开启
  • 两个从服务器的 server-id 是否相同导致只能连上一台
  • master_log_file 和 master_log_pos 的值要是否与Master查询的一致

4、show slave status能看到哪些信息(比较重要的)

  • IO线程的状态信息
  • master服务器的IP地址、端口、事务开始位置
  • 最近一次的报错信息和报错位置等

5、主从复制慢(延迟)有哪些可能

  • 主服务器的负载过大,被多个睡眠或者僵尸线程占用,导致系统负载过大
  • 从库硬件比主库差,导致复制延迟
  • 主从复制单线程,如果主库写并发太大,来不及传送到从库,就会导致延迟。
  • 慢SQL语句过多
  • 网络延迟
     
举报

相关推荐

0 条评论