意见箱
恒创运营部门将仔细参阅您的意见和建议,必要时将通过预留邮箱与您保持联络。感谢您的支持!
意见/建议
提交建议

mysql5.7主从复制

来源:恒创科技 编辑:恒创科技编辑部
2023-12-22 02:26:59
主从复制简介
1.1. 基于二进制日志复制的
1.2. 主库的修改操作会记录二进制日志
1.3. 从库会请求新的二进制日志并回放,最终达到主从数据同步
1.4. 主从复制核心功能:
辅助备份,处理物理损坏
扩展新型的架构:高可用,高性能,分布式架构等
主从复制前提(搭建主从的过程)
## 2.1 两台以上mysql实例 ,server_id,server_uuid不同
## 2.2 主库开启二进制日志
## 2.3 专用的复制用户
## 2.4 保证主从开启之前的某个时间点,从库数据是和主库一致(补课)
## 2.5 告知从库,复制user,passwd,IP port,以及复制起点(change master to)
## 2.6
主从复制搭建(Classic replication)清理主库数据
rm -rf /data/3307/data/*
重新初始化3307
mysqld --initialize-insecure --user=mysql --basedir=/app/mysql --datadir=/data/3307/data
修改my.cnf ,开启二进制日志功能
[root@db01 3307]# vim /data/3307/my.cnf 
log_bin=/data/3307/data/mysql-bin
启动所有节点
[root@db01 3307]# systemctl start mysqld3307
[root@db01 3307]# systemctl start mysqld3308
[root@db01 3307]# systemctl start mysqld3309
[root@db01 3307]# ps -ef |grep mysqld
mysql 3684 1 4 09:59 ? 00:00:00 /app/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
mysql 3719 1 7 09:59 ? 00:00:00 /app/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
mysql 3754 1 8 09:59 ? 00:00:00 /app/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
[root@db01 3307]# mysql -S /data/3307/mysql.sock -e "select @@server_id"
[root@db01 3307]# mysql -S /data/3308/mysql.sock -e "select @@server_id"
[root@db01 3307]# mysql -S /data/3309/mysql.sock -e "select @@server_id"


mysql5.7主从复制_mysql


mysql5.7主从复制

备份主库并恢复到从库
[root@db01 3307]# mysqldump -S /data/3307/mysql.sock -A --master-data=2 --single-transaction  -R --triggers >/backup/full.sql
-------------------------------------------
检查下binlog和pos vim /backup/full.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=653;
--------------------------------------------
[root@db01 3307]# mysql -S /data/3308/mysql.sock
db01 [(none)]>set sql_log_bin=0;
db01 [(none)]>source /backup/full.sql

vim /backup/full.sql

mysql5.7主从复制_主从复制_02

告知从库关键复制信息

ip port user password binlog position
登录客户端
[root@db01 3307]# mysql -S /data/3308/mysql.sock

查看:
db01 [mysql]>help change master to
CHANGE MASTER TO
MASTER_HOST='10.0.0.51',
MASTER_USER='repl',
MASTER_PASSWORD='123',
MASTER_PORT=3307,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=653,
MASTER_CONNECT_RETRY=10;

执行:CHANGE MASTER TO
db01 [mysql]>
CHANGE MASTER TO
MASTER_HOST='10.0.0.51',
MASTER_USER='repl',
MASTER_PASSWORD='123',
MASTER_PORT=3307,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=653,
MASTER_CONNECT_RETRY=10;

--假如输入错误 可以执行下面语句 重新 change master to
db01 [mysql]>stop slave
db01 [mysql]>reset slave all;

开启主从专用线程
start slave ;
检查复制状态
db01 [mysql]>show slave  status \G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

主从复制的原理主从中设置到的文件和线程线程
主:
DUMP THREAD (binlog_dump_thread)二进制日志投递进程
从:
IO THREAD 从库io线程 请求和接收binlog
SQL THREAD 从库的sql线程 回放日志

文件
主:
mysql-bin.000001
从:
relay-log.000001 ===>中继日志
master.info ===》主库信息记录日志
relay-log.info ===> 记录中继应用情况信息

主从复制原理

mysql5.7主从复制_sql_03


mysql5.7主从复制_主从复制_04

mysql5.7主从复制_主从复制_05

主从复制原理描述:

1.change master to 时,ip pot user password binlog position写入到master.info进行记录
2. start slave 时,从库会启动IO线程和SQL线程
3.IO_T,读取master.info信息,获取主库信息连接主库
4. 主库会生成一个准备binlog DUMP线程,来响应从库
5. IO_T根据master.info记录的binlog文件名和position号,请求主库DUMP最新日志
6. DUMP线程检查主库的binlog日志,如果有新的,TP(传送)给从从库的IO_T
7. IO_T将收到的日志存储到了TCP/IP 缓存,立即返回ACK给主库 ,主库工作完成
8.IO_T将缓存中的数据,存储到relay-log日志文件,更新master.info文件binlog 文件名和postion,IO_T工作完成
9.SQL_T读取relay-log.info文件,获取到上次执行到的relay-log的位置,作为起点,回放relay-log
10.SQL_T回放完成之后,会更新relay-log.info文件。
11. relay-log会有自动清理的功能。
细节:
1.主库一旦有新的日志生成,会发送“信号”给binlog dump ,通知IO线程再请求

主从故障监控\分析\处理线程相关监控主库:
show full processlist;
每个从库都会有一行dump相关的信息
HOSTS:
db01:47176
State:
Master has sent all binlog to slave; waiting for more updates
如果现实非以上信息,说明主从之间的关系出现了问题

mysql5.7主从复制_主从复制_06

从库:
db01 [(none)]>show slave status \G
*************************** 1. row ***************************

mysql5.7主从复制_主从复制_07

从库中主库相关信息监控master.info

Master_Host: 10.0.0.51 主库的ip
Master_User: repl 复制用户名
Master_Port: 3307 主库的端口
Connect_Retry :10 断连之后重试次数
Master_Log_File:mysql-bin.00001 已经获取得到binlog的文件名
Read_Master_Log_Pos: 444 已经获取得到binlog的位置号

从库中继日志的应用状态relay-log.info
Relay_Log_File: db01-relay-bin.000002  从库已经运行过的relaylog的文件名
Relay_Log_Pos: 485
从库中继日志的应用状态
Relay_Log_File: db01-relay-bin.000002
Relay_Log_Pos: 485
从库复制线程有关的状态

Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Last_IO_Errno: 0 IO报错的号码
Last_IO_Error: IO报错的具体信息
Last_SQL_Errno: 0 SQL报错的号码
Last_SQL_Error: SQL线程报错的具体原因

过滤复制有关的状态
Replicate_Do_DB: 
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
主从延时相关状态(非人为)
Seconds_Behind_Master: 0  从库延时主库的时间 单位秒
延时从库有关的状态(人为设置延时)
SQL_Delay: 0                         延时从库设定的时间
SQL_Remaining_Delay: NULL 延时操作剩余时间
GTID 复制有关的状态
Retrieved_Gtid_Set:        接收到的GTID的个数
Executed_Gtid_Set: 执行了多个个数
Auto_Position: 0

主从复制故障分析

上一篇: mysql半同步复制gtid复制MHA搭建 下一篇: mysql如何解决幻读