>

主从复制架构搭建教程,详解Docker方式实现MySq

- 编辑:www.bifa688.com -

主从复制架构搭建教程,详解Docker方式实现MySq

本文实践了用Docker方式来实现基于binlog的MySql主从复制。关于MySql主从复制的原理将在下一篇中进行讲解。

在学习MySQL的过程中,常常会测试各种参数的作用。这时候,就需要快速构建出MySQL实例,甚至主从。 

分享mysql 5.7 docker 主从复制架构搭建教程,供大家参考,具体内容如下

一些数据的本地存储目录结构

考虑如下场景:

环境版本:
MySQL :  5.7.13
Docker : 1.11.2
CentOS : 7.1 

mysql >tree -L 2
.
├── data
│  ├── master01
│  └── slave01
├── master01
│  └── master01.cnf
└── slave01
  └── slave01.cnf

譬如我想测试mysqldump在指定--single-transaction参数的情况下,对于myisam表的影响。

1.先在两个物理机上分别安装两个MySQL.命令如下 

master01.cnf配置

本来想在现成的测试环境中进行,但测试环境中,有大量的数据,执行mysqldump进行全备,产生的SQL文件,很难基于表进行搜索。

复制代码 代码如下:

[mysqld]
log-bin=mysql-master01-bin # 使用binary logging,mysql-master01-bin是log文件名的前缀
server-id=1 # 唯一服务器ID,非0整数,不能和其他服务器的server-id重复

这个时候,就特别渴望能有一套干净的实例进行测试。

docker pull mysql:5.7.13 
docker run --name anuo-mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=qaz.00JK -d mysql:5.7.13 

slave01.cnf配置

此刻,快速构建能力就显得尤为必要,很多童鞋可能会问,通过脚本不就能实现么?为什么要用docker?

2.在主库上创建一个复制账户 

[mysqld]
log-bin=mysql-slave01-bin 
server-id=2  

个人感觉:脚本太重,会涉及很多额外的工作,譬如创建用户,相对较长的数据库初始化过程,MySQL启动过程,而我需要的是一种快速构建,快速销毁的能力。

复制代码 代码如下:

创建master01容器

而这,正是Docker的强项。

GRANT REPLICATION SLAVE ON *.* TO 'rep1'@'192.168.2.103' IDENTIFIED BY 'qaz.00JK';

复制代码 代码如下:

如下,是利用docker启动一个实例的时间,不到1s,如果使用脚本来做的话,绝不会这么快。

复制账户为: rep1
指定从库的IP必须为: 192.168.2.103 
复制密码为: qaz.00JK 

docker run -d --name master01 -v /Users/craneyuan/backup/docker/mysql/data/master01:/var/lib/mysql -v /Users/craneyuan/backup/docker/mysql/master01:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 -p 3307:3306 mysql:5.7

# time docker run --name slave -v /etc/slave.cnf:/etc/mysql/my.cnf -v /var/lib/mysql/slave:/var/lib/mysql -p3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6.34
6b7fe5da9e8c77529ee634e163add57db5cd15757e88261ce320a502ae01f853

real  0m0.986s
user  0m0.026s
sys  0m0.018s

3.修改主库的配置文件 (麻烦,应该有更方便的修改方式) 

注意:启动容器的时候不要立刻就去连接数据库,会造成一些莫名奇妙的问题,比如连不上,可以将数据都删掉然后restart容器。

于是基于docker写了个脚本,可在30s左右新建一套MySQL主从复制环境

3.1先从docker拷贝配置文件到主机/root 目录:  

创建slave01容器

#!/bin/bash

MASTER_DIR=/var/lib/mysql/master
SLAVE_DIR=/var/lib/mysql/slave

## First we could rm the existed container
docker rm -f master
docker rm -f slave

## Rm the existed directory
rm -rf $MASTER_DIR
rm -rf $SLAVE_DIR

## Start instance
docker run --name master -v /etc/master.cnf:/etc/mysql/my.cnf -v $MASTER_DIR:/var/lib/mysql --net=host -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6.34
docker run --name slave -v /etc/slave.cnf:/etc/mysql/my.cnf -v $SLAVE_DIR:/var/lib/mysql --net=host -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6.34
## Creating a User for Replication
docker stop master slave
docker start master slave

sleep 3

docker exec -it master mysql -S /var/lib/mysql/mysql.sock -e "CREATE USER 'repl'@'127.0.0.1' IDENTIFIED BY 'repl';GRANT REPLICATION SLAVE ON *.* TO 'repl'@'127.0.0.1';"

## Obtaining the Replication Master Binary Log Coordinates
master_status=`docker exec -it master mysql -S /var/lib/mysql/mysql.sock -e "show master statusG"`
master_log_file=`echo "$master_status" | awk 'NR==2{print substr($2,1,length($2)-1)}'`
master_log_pos=`echo "$master_status" | awk 'NR==3{print $2}'`
master_log_file="'""$master_log_file""'"

## Setting Up Replication Slaves 
docker exec -it slave mysql -S /var/lib/mysql/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='127.0.0.1',MASTER_PORT=3306,MASTER_USER='repl',MASTER_PASSWORD='repl',MASTER_LOG_FILE=$master_log_file,MASTER_LOG_POS=$master_log_pos;"docker exec -it slave mysql -S /var/lib/mysql/mysql.sock -e "start slave;"
docker exec -it slave mysql -S /var/lib/mysql/mysql.sock -e "show slave statusG"

## Creates shortcuts
grep "alias master" /etc/profile
if [ $? -eq 1 ];then
  echo 'alias mysql="docker exec -it master mysql"' >> /etc/profile
  echo 'alias master="docker exec -it master mysql -h 127.0.0.1 -P3306"' >> /etc/profile
  echo 'alias slave="docker exec -it master mysql -h 127.0.0.1 -P3307"' >> /etc/profile
  source /etc/profile
fi

docker cp anuo-mysql:/etc/mysql/my.cnf /root 

复制代码 代码如下:

脚本本身没有太多需要说明的地方,主从容器起来后,遵循的还是常见的主从复制建立流程。

3.2在主机打开 my.cnf , 在 [mysqld] 节点最后加上 

docker run -d --name slave01 -v /Users/craneyuan/backup/docker/mysql/data/slave01:/var/lib/mysql -v /Users/craneyuan/backup/docker/mysql/slave01:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 -p 3308:3306 mysql:5.7

主要是说说创建容器所涉及的选项。

log-bin=mysql-bin 
server-id=1 

在master01中添加复制用户

复制代码 代码如下:

3.3 再把此文件上传到docker mysql 里面覆盖 

SET sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY',''));

GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456';

show master status; # 查看master的状态

docker run --name master -v /etc/master.cnf:/etc/mysql/my.cnf -v $MASTER_DIR:/var/lib/mysql  --net=host -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6.34

docker cp /root/my.cnf  anuo-mysql:/etc/mysql/my.cnf 

在slave01中配置与master01相关的内容

 -v /etc/master.cnf:/etc/mysql/my.cnf:将本地的配置文件映射成容器的配置文件,这样,可通过修改本地配置文件,来达到修改容器配置文件的效果。

3.4 重启 mysql 的docker , 让配置生效
docker restart anuo-mysql

SET sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY',''));

 -v $MASTER_DIR:/var/lib/mysql :将本地目录映射成容器的数据目录,这样,方便查看数据目录的内容,不然的话,就默认保存在/var/lib/docker/volumes目录下,实在不方便查看。

4. 修改从库的配置文件 

change master to master_host='192.168.10.223',master_port=3307,master_user='backup',master_password='123456',master_log_file='mysql-master01-bin.000003', master_log_pos=154;

master_host是宿主机的IP(ifconfig查到的操作系统IP,不是容器的IP,一定不能搞错) 
master_port是主服务器的映射到3306的端口(默认3306) 
master_user为创建的备份用户 
master_password备份用户的密码 
master_log_file和master_log_pos则是show master status列表里面的两个值,分别是mysql日志名和起始备份位置 

 --net=host:共享宿主机的网络,大大降低容器之间的通信复杂度。

跟第三步一样, 唯一不同是 
server-id=2

启动slave(依然在slave01中操作)

 注意

5. 开始备份, 在主库执行以下命令, 让主库所有表置于只读不能写的状态, 这样达到主从库数据一致性 

start slave; 
show slave status; 或者show slave statusG;

在脚本刚开始的时候,会删除之前的容器,这包含两步操作

FLUSH TABLES WITH READ LOCK; 

如果是Waiting for master to send event则说明主从复制成功了,若是Connecting to master肯定是配置错误,楼主就错了几次,重删除配置一下就行,这就是容器的好处,删除的代价很小,短时间就可以恢复。如果是Waiting for master to send event,对主库的增删改查从库都会同步修改。

  1. 通过docker命令删除容器

  2. 通过操作系统命令删除之前容器的数据目录。

6. 将主库的数据库备份在从库还原

扩展问题

    如果不删除的话,再次通过如下命令创建容器时,并不会清空之前的数据目录,而是直接加载,相当于新启了一个mysqld进程启动之前的实例。

用navicat for mysql 很方便操作

slave设置为只读

复制代码 代码如下:

7. 从库还原后, 释放主库的读锁, 这样主库恢复写权限

在slave的配置文件中添加下面的选项

docker run --name master -v /etc/master.cnf:/etc/mysql/my.cnf -v $MASTER_DIR:/var/lib/mysql  --net=host -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6.34

unlock tables; 

read-only=1    # 除非有SUPER权限,否则只读
super-read-only=1 # SUPER权限也是只读

www.bifa688.com ,这也给我们提供了一个思路,如果只是想测试参数的作用,并不想新建实例的话,只需通过docker命令删除容器,修改配置文件,通过上述命令创建容器即可。

8.配置从库连接主库, 在从库上执行  

其他

在启动实例后,执行了一个重启实例的操作,因为在测试的过程中,发现如果执行docker exec -it master bash之类的操作,会导致容器down掉(具体down的原因还未分析),但是重启实例后就没问题。

CHANGE MASTER TO 
MASTER_HOST='192.168.2.108', 
MASTER_PORT=3306, 
MASTER_USER='rep1', 
MASTER_PASSWORD='qaz.00JK', 
MASTER_LOG_FILE='mysql-bin.000002', 
MASTER_LOG_POS=898;

如果master已经有数据了,怎么新增slave:可以先把master的数据导入到slave,再启动slave。具体可以参考这里。

docker stop master slave
docker start master slave

sleep 3

最后两项 
MASTER_LOG_FILE 和  MASTER_LOG_POS 
在主库执行 : SHOW MASTER STATUS; 命令可以取得 
对应的字段是 File 和 Position

如果已经有主从复制了,怎么增加slave:思路同上,不过不需要使用master的数据,直接用已有的slave数据就可以了。不需要停止master,新slave使用新的server-id。具体可以参考这里。

设置快捷键

9. 在从库启动 slave 线程开始同步
START SLAVE;

前面介绍的都是主从,如果需要slave也能同步到master就要设置主主复制:也就是说反过来再做一遍。

mysql:mysql客户端,可以通过该客户端连接其它主机上的MySQL服务器。

10.在从库 查看同步状态  show slave status; 
如果看到 Slave_Io_State 字段有 : 

当slave比较多得时候,master的负载可能会成为问题。可以用主从多级复制:以slave为master来再引入新的slave。

master:执行master即可登录本机的master实例,省掉了指定主机名和端口的操作。

Waiting for master to send event ...  
那就成功了 ! ! !

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

salve:执行slave即可登录本机的slave实例。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:

  • 分析MySQL复制以及调优原理和方法
  • Linux下MySQL数据库的主从同步复制配置
  • Mysql中复制详细解析
  • MySQL高可用解决方案MMM(mysql多主复制管理器)
  • MySQL5.7.18主从复制搭建(一主一从)教程详解
  • Mysql5.7.18的安装与主从复制图文详解
  • 详解MySQL实现主从复制过程
  • 利用pt-heartbeat监控MySQL的复制延迟详解
  • 详解MySQL主从复制读写分离搭建
  • 详解如何利用docker快速构建MySQL主从复制环境
  • 简单谈谈MySQL的半同步复制
  • MySQL复制优点、原理详解

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:

  • 详解如何利用docker快速构建MySQL主从复制环境
  • 使用Docker容器搭建MySql主从复制
  • 详解Docker方式实现MySql 主从复制(实践篇)

您可能感兴趣的文章:

  • 分析MySQL复制以及调优原理和方法
  • Linux下MySQL数据库的主从同步复制配置
  • 详解Docker方式实现MySql 主从复制(实践篇)
  • Mysql中复制详细解析
  • MySQL高可用解决方案MMM(mysql多主复制管理器)
  • MySQL5.7.18主从复制搭建(一主一从)教程详解
  • Mysql5.7.18的安装与主从复制图文详解
  • 详解MySQL实现主从复制过程
  • 利用pt-heartbeat监控MySQL的复制延迟详解
  • 详解MySQL主从复制读写分离搭建
  • 简单谈谈MySQL的半同步复制
  • MySQL复制优点、原理详解

本文由bifa688.com发布,转载请注明来源:主从复制架构搭建教程,详解Docker方式实现MySq