双主结构完整构建过程,基于docker的mysql主从复制

1.装置和布局Docker

架构图

图片 1

未命名 2.001.jpeg

本文引用: http://blog.csdn.net/dream_broken/article/details/77838579
想搭建个mysql主从复制的处境,然而财富有限,不想创造多个设想机,就用docker来呢。

Mysql主从复制,读写分离(mysql-proxy),双主结构全体营造进程,mysqlmysql-proxy

下边介绍MySQL主从复制,读写分离,双主结构完整营造进程,不涉及过多理论,唯有实验和布置的进程。 
Mysql主从复制(转发请注明出处,博文地址:) 
原理是master将退换记录到二进制日志(binary log),slave将master的binary log拷贝到中继日志(relay log),slave通过连接日志同步master的操作。 
1,实验境遇,实验有2台Ubutu server 14都设置了mysql服务器,在一样的IP段 
172.16.34.212(主), 
172.16.34.156(从).

2,将这两台IP授权,允许其余IP通过账号密码进行寻访(如加多个euht账号允许持有外界IP以密码123456会见),分别登陆进两台机子的mysql实施如下语句 
Grant all privileges on . to ‘euht’@’%’ identified by ‘123456’ with grant option; 
Flush privileges; 
图片 2

注: 
①上述代码的情趣是创造一个euht客商,host=%,允许持有IP通过客户名euht实行拜见。增加完刷新权力。 
②此时两台机子的mysql应该是能够互相寻访的,借使不得以,导致的来头有众多,最分布的是防火墙没关,mysql服务器绑定了本地地址。通过如下方法日常可解决难点 
闭馆防火墙,或开放3306端口 
图片 3 
更改my.cnf文件,把bind-address注释掉 
vi /etc/mysql/my.cnf 
图片 4 
3,找到主服务器172.16.34.212MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]上边扩充下边几行代码 
server-id=1 
log-bin=master-bin 
log-bin-index=master-bin.index 
保留后重启mysql(service mysql restart;) 
注:倘使只须要共同特定的库,如上增多代码,binlog-do-db =euht ,用于master-slave的现实数据库 
4,进入mysql后,查看主服务器mysql master状态,日志File为master-bin.000001,Position为107(记下那四个值,后边进行从服务器操作的时候须要动用) 
图片 5 
5,配置从服务器(172.16.34.156) 
同等配备从服务器允许外界IP访谈(参谋第2点)

陈设日志文件

找到从服务器172.16.34.156MySQL安装文件夹修改my.cnf(etc/mysql/my.cnf)文件,在[mysqld]上面扩充上面几行代码(server-id跟主服务器不要一样了) 
server-id=10 
log-bin=master-bin 
log-bin-index=master-bin.index

6,连接受主服务器(连接上156的mysql推行以下语句,改变相应的源委) 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=107;

7,启动slave 
mysql> start slave;

8,查看slave状态 
mysql> show slave statusG 
其中Slave_IO_Running 与 Slave_SQL_Running 的值都不能够不为YES,才表明状态平常。 
图片 6 
上述已经足以兑现172.16.34.162主服务器的库的具有变化同步到从服务器172.16.34.156

测量试验如下: 
1,如图两台服务器都没自定义数据库 
图片 7

2,创制多个数据库到主库(172.16.34.212),然后刷新从库旁观气象(172.16.34.156) 
图片 8

调查得出212的具有操作都一齐到从156从库了。至此主从复制作而成功。 
在乎以下几点: 
1,做主从复制时,首先明确两台服务器的mysql没其他自定义库(否则只好够安插完后事先的事物没办法同步,恐怕三个库都有完全同样的库应该也是足以联手)
2,server_id必需配备不等同 
3,防火墙不能够把mysql服务端口给挡住了(默许3306) 
4,确定保障两台mysql能够相互访问(即供给第二步操作) 
5,重新初始化master,slave。Reset master;reset slave;开启关闭slave,start slave;stop slave; 
Mysql读写分离

如上中国人民解放军海军事工业程高校业作做完后得以伊始搭建读写分离,读写分离近日注重的三种情势: 
1,MySQL Proxy(中间件) 
2,Amoeba for MySQL(中间件) 
3,Mycat(中间件) 
4,应用层达成 
上面介绍用MySQL Proxy落成读写分离。Mysql Proxy日常安装到独门的一台服务器来拓宽读写调解,以下加多一台IP来安装mysql-proxy调治器,IP为172.16.34.236 
1,首先安装mysql-proxy 
apt-get install mysql-proxy

2,实现读写分离是有lua脚本达成的,今后mysql-proxy里面已经济同盟龙,无需再设置。 
3,配置连接数达到多少才读写分离,此处改为1,1个一连就从头读写分离 
vim /usr/share/mysql-proxy/rw-splitting.lua

图片 9

4,运行mysql-proxy,主库用于写172.16.34.212,从库用于读172.16.34.156 
sudo mysql-proxy –proxy-read-only-backend-addresses=172.16.34.156:3306 –proxy-backend-addresses=172.16.34.212:3306 –proxy-lua-script=/usr/share/mysql-proxy/rw-splitting.lua –admin-username=euht 
–admin-password=123456 
–admin-lua-script=/usr/share/mysql-proxy/admin.lua 
5,运营后暗中认可占用端口4040和4041。4040用来SQL转载,4041用来管理mysql-proxy。(netstat -tupln|grep mysql-proxy) 
图片 10

6,测验读写分离 
用主库172.16.34.212的顾客euht在那台mysql-proxy服务器登入进去(也得以单独为那些代理创立贰个客商) 
前日从那台代理登陆进主mysql服务器插入一条数据到testtb,结果为主从两台服务器都有多少了。 
图片 11

为了测试读写是还是不是真正分离了,我们把这两台服服务器的数据差距化

首先登场陆mysql-proxy代理(-P钦点端口号,必得钦定不然登入进去的将是本土3306端口的不胜,当然是因为那台219服务器本身没陈设让外界机子可以访问,所以举办下边包车型地铁言语贫乏端口号直接报错。) 
mysql -ueuht -p -h172.16.34.219 -P4040 
签到进去大家为了见到读写分离是或不是见效,先到从服务器156把slave给停掉。(stop slave;)然后在代理服务器219的mysql-proxy实行插入数据。先看原本的数目意况 
图片 12

插入数据和查阅数据 
图片 13

意识插入数据成功,再select出来居然未有刚才插入的数目。这时大家独家到两台服务器去查看数据。 
172.16..34.156从服务器的数据依然原本的 
图片 14 
再看212的数据 
图片 15

旁观此间就看出作用了。主服务器已经有了刚刚插入的数据,从服务器并未有。那是因为从服务器的主从复制已经关门,所以从mysql-proxy代理端插入数据(实际上是用了主服务器212去插入)未有复制到从服务器。从mysql-proxy读取没看见新插入的数额是因为代理端是去从服务器156读取数据的。 
现今,mysql的主从复制和读写分离就甘休了。下边轻巧说一下双主结构。

Mysql双主结构

因而地点的介绍很轻便见到,双主结构其实便是两台服务器互相数据复制。那么成功双主结构只须要把212主服务器变成156的从服务器就可以。

在212服务器上实行(先到156翻看日志地方,改对相应的事物就能够show master status;) 
change master to 
master_host=’172.16.34.212’, 
master_user=’euht’, 
master_password=’123456’, 
master_log_file=’master-bin.000001’, 
master_log_pos=294;

拉开主从 
mysql> start slave;

156,212都start slave,並且配置互为slave,那正是双主结构。

测量检验,212插入数据156会同步,156插入数据212会联手。经测验全体透过。(记得查看运长势况,Slave_IO_Running 与 Slave_SQL_Running 的值都不能够不为YES,才表明状态正常。Show slave statusG)

上面介绍MySQL主从复制,读写分离,双主结构全体创设进程,不涉...

服务器版本
阿里云CentOS7.4

介绍

  1. MySQL Router是高居选取client和dbserver之间的轻量级代理程序,它能检查测量检验,深入分析和转载查询到后端数据库实例,并把结果重回给client。是mysql-proxy的一个代替品。
  2. Router完结读写分离,程序不是直接连接数据库IP,而是定点连接到mysql router。MySQL Router对前面贰个选择是晶莹剔透的。应用程序把MySQL Router当做是平常的mysql实例,把询问发给MySQL Router,而MySQL Router会把询问结果再次来到给前端的应用程序。
  3. 从数据库服务器故障,业务能够健康运维。由MySQL Router来开展机动下线不可用服务器。程序配置不须要任何改换。
  4. 主数据库故障,由MySQL Router来决定主从自动切换,业务能够健康访谈。程序配置无需做另外退换。

centos7下安装docker的方法,博文“docker学习2--centos7下安装”。

docker版本
18.06.0-ce

读写分离原理

MySQL Router接受前端应用程序央求后,依据分化的端口来区分读写,把连接读写端口的保有查询发往主库,把连接只读端口的select查询以轮询格局发往多少个从库,从而达成读写分离的指标。读写重临的结果会付出MySQL Router,由MySQL Router重回给客户端的应用程序。

docker pull 从官方下载mysql镜像,速度一点也不快,所以就从daocloud下载镜像啊,速度一点也不慢。

docker安装步骤

布署情势

基于 Docker

意况描述:

  • 操作系统:Ubuntu 14.04
  • router_master 主服务器(读写):172.17.0.8
  • router_slave01 从服务器(读,热备份):172.17.0.9
  • router_slave02 从服务器(读):172.17.0.10
  • mysql-router 路由服务器:172.17.0.2

docker pull daocloud.io/library/mysql:5.7

下载mysql镜像

1. MySQL 主从复制

参考《Amoeba for MySQL》

图片 16

# docker pull mysql:5.7

2. MySQL-Router 配置

  1. 设置配备 MySQL Router

    • 下载:MySQL Router
    • 解压到钦赐目录
    tar -zxvf mysql-router-2.1.4-linux-glibc2.12-x86-64bit.tar.gz -C /usr/local/
    cd /usr/local/
    ln -s mysql-router-2.0.3-linux-glibc2.12-x86-64bit/ mysql-router
    
  2. 配置 MySQL Router

    • 创办布局文件目录,复制配置文件模板
    mkdir /etc/mysql-route/
    cp share/doc/mysqlrouter/sample_mysqlrouter.conf /etc/mysql-route/mysqlrouter.conf
    
    • 布署文件
    [DEFAULT]
    # 日志存放目录
    logging_folder = /data/log/mysql-route
    # 插件存放目录
    plugin_folder = /usr/local/mysql-router/lib/mysqlrouter
    # 配置文件存放目录
    config_folder = /etc/mysql-route
    # 运行目录
    runtime_folder = /var/run
    
    [logger]
    # 日志运行级别
    level = INFO
    
    # 主节点故障转移配置
    [routing:basic_failover]
    # 写节点地址
    bind_address=172.17.0.2
    # 写节点端口
    bind_port = 7001
    # 模式,读写
    mode = read-write
    # 主节点地址:默认情况下第一台主数据库为写主库,当第一台主数据库DOWN机后,第二台数据库被提升为主库
    destinations = 172.17.0.8:3306,172.17.0.9:3306
    
    # 从节点负载均衡配置
    [routing:balancing]
    # 绑定的IP地址
    bind_address=172.17.0.2
    # 监听的端口
    bind_port = 7002
    # 连接超时时间
    connect_timeout = 3
    # 最大连接数
    max_connections = 1024
    # 后端服务器地址
    destinations = 172.17.0.9:3306,172.17.0.10:3306
    # 模式:读还是写
    mode = read-only
    
    [keepalive]
    interval = 60
    
    • 成立日志目录
    mkdir /data/log/mysql-route
    chown root:root /data/log/mysql-route/
    
  3. 启动 MySQL Router

root@mysql-router:/usr/local/mysql-router/bin# ./mysqlrouter -c /etc/mysql-route/mysqlrouter.conf &
  1. 测量试验读写分离

    1. 先近些日子停掉主从复制
    2. 在 master 节点插入数据,然后通过 mysql-proxy 查询
    3. 在 slave 节点插入数据,然后经过 mysql-proxy 查询
  2. 注脚负载均衡

    • 读操作
    mysql -h 172.17.0.2 -uroot -P7002 -proot -e "show variables like 'hostname';"
    
    • 写操作
    mysql -h 172.17.0.2 -uroot -P7001 -proot -e "show variables like 'hostname';"
    
  3. 测验主主故障切换

    • 从库 down 机
    • 主库 sown 机
  4. 缺陷

在一主多从的景况,要是主库down机,切换成备份节点,其余从库的主库地址连接依旧故障的
主库,那样就能够导致三个从库slave_io线程connecting状态,变成复制延迟

  • 焚薮而田方案:
1、在切换时需要自己编写脚本触发一个shell脚本或者event来处理重连的问题。

2、不使用mysql router主主故障转移功能,而是自己使用其他方式保证mysql主库高可用。

image

运营四个mysql镜像,分别映射3306和3316端口
主库:3306端口
备库:3316端口

运维起来,端口分别对应3306,3307

# docker run -p 3306:3306 --name mysql3306 -v /opt/mysql/data/data3306:/var/lib/mysql  -v /opt/mysql/logs/logs3306:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

# docker run -p 3316:3306 --name mysql3316 -v /opt/mysql/data/data3316:/var/lib/mysql  -v /opt/mysql/logs/logs3316:/logs -e MYSQL_ROOT_PASSWORD=xxxxxxxxxxxx -d mysql:5.7

图片 17

图片 18

image

2.安插主从复制

3306为主,3307为从

从主库的docker容器中把默许的配置文件拷贝出来

跻身3306,并查看容器的系统版本

# docker cp 37735c072370:/etc/mysql/mysql.conf.d/mysqld.cnf /opt/mysql/conf/conf3306

图片 19

修改配置文件扩大两行

image

#vim mysqld.cnf 
[mysqld]
log-bin=mysql-bin #开启二进制日志
server-id=1 #设置server-id

发掘用的是debian版本的linux,查找下my.cnf在哪

将修改后的安顿文件拷回容器里,仁同一视启容器

图片 20

# docker cp /opt/mysql/conf/conf3306/mysqld.cnf 37735c072370:/etc/mysql/mysql.conf.d/
# docker restart 37735c072370

image

始建主从复制必要的mysql账户,并分配权限

翻看my.cnf,开采其间又指向/etc/mysql/mysql.conf.d/mysql.cnf

mysql>CREATE USER 'repl'@'xxx.xxx.xxx.xxx' IDENTIFIED BY 'repl123';
mysql>GRANT REPLICATION SLAVE ON *.* TO 'repl'@'xxx.xxx.xxx.xxx'

cat /etc/mysql/mysql.conf.d/mysqld.cnf

看到

 [mysqld]  
 pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-
 links is recommended to prevent assorted security risks  
 symbolic-links=0  

那是我们谙习的mysql配置了,大家钦点下编码和主服务配置

使用vi的时候,提示not found

root@b5ab3b336918:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf   
bash: vi: command not found 

apt-get install vim败北。。。不想折腾了,把mysql.conf.d/mysql.cnf的剧情复制到window本地来,修改好后,上传到设想机,然后docker run 的时候,使用-v 命令,把mysql.cnf映射到mysql容器吧

剥离容器,删除容器mysql3306,mysql3307

图片 21

image

虚构机上希图好/mysql-3306.cnf,是主库的布置

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
 socket          = /var/run/mysqld/mysqld.sock  
 datadir         = /var/lib/mysql  
 #log-error      = /var/log/mysql/error.log  
 # By default we only accept connections from localhost  
 #bind-address   = 127.0.0.1  
 # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

 character-set-server=utf8  
 default-storage-engine=INNODB  
 sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

 server-id=1  
 log_bin=/var/log/mysql/binlog  

从库配置/mysql-3307.cnf

  [mysqld]  
  pid-file        = /var/run/mysqld/mysqld.pid  
  socket          = /var/run/mysqld/mysqld.sock  
  datadir         = /var/lib/mysql  
  #log-error      = /var/log/mysql/error.log  
  # By default we only accept connections from localhost  
  #bind-address   = 127.0.0.1  
  # Disabling symbolic-links is recommended to prevent assorted security risks  
 symbolic-links=0  

  character-set-server=utf8  
  default-storage-engine=INNODB  
  sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION  

  server-id=2  
  log_bin=/var/log/mysql/binlog  
  innodb_file_per_table=ON  
 skip_name_resolve=ON  
  binlog-format=row  
  log-slave-updates=true  
 relay_log=/var/log/mysql/relay.log  

server-id是独一的,主从不能够长期以来。

施行上边命令,运行五个mysql镜像

 docker run --name mysql3306 -v /mysql-3306.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7  


 docker run --name mysql3307 -v /mysql-3307.cnf:/etc/mysql/mysql.conf.d/mysql.cnf -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d daocloud.io/library/mysql:5.7  

使用navicat连接3306,3307

图片 22

image

主库3306上查询下SHOW MASTE奥迪Q7 STATUS

图片 23

image

从库3307上,甘休slave,并配置主库master的连日

图片 24

image

配置主库连接,使用root顾客

CHANGE MASTER TO MASTER_HOST='192.168.174.136',MASTER_USER='root', MASTER_PASSWORD='123456',MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;  

注意:MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=154;要和主库3306上边show master的时候获得的数额一致

从库3307启动start slave

图片 25

image

查看slave状态

图片 26

image

配置OK了,接着试试在主库3306上开创数据库、表,看看是还是不是3307也同步

3306上执行

CREATE DATABASE test DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;  

然后navicat上刷新3307,开采3307上也开创有test库了,表明为主同步OK了,能够跟着测量检验创立表、对表的数目举行增加和删除改举行测量检验

在这里从库配置的时候,还亟需stop slave;change XXXX;start slave操作,那如若从库重启了,那基本同步是还是不是依旧有效吗?结束3307,然后在3306上创建表,那是3307停下了,肯定没一齐到3307,然后运行3307,再度检查数据,开掘3306的表同步过来了,表达从库重启,同步作用然后存在。

CREATE TABLE `user` (
`id`  int NOT NULL AUTO_INCREMENT ,
`user_name`  varchar(50) NULL ,
PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci
;

查阅主库状态,记录下File和Position

mysql>SHOW MASTER STATUS;

图片 27

修改从库配置文件

#vim mysqld.cnf 
[mysqld]
server-id=2 #设置server-id

同样拷进从库镜像,比量齐观启容器

mysql中试行配置主库的话语

mysql>change master to master_host='xxx.xxx.xxx.xxx', #Master 服务器Ip
master_port=3306,
master_user='repl',
master_password='repl123', 
master_log_file='master-bin.000001',#Master服务器产生的日志
master_log_pos=2986;

mysql>start slave;

mysql>show slave statusG

如果slave_io_running和slave_sql_running都为yes,表示运营同步成功

图片 28

营造多少个客商端连接并创立测量检验库

图片 29

主库创立student表并插入一条记下,能够见见,从库自动同步了数据,配置成功

图片 30      图片 31

 

 图片 32   图片 33

 

3.用mysql-proxy实现读写分离

下载mysql-proxy

解压并安顿mysql-proxy

# tar zxvf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz
# cd mysql-proxy-0.8.5-linux-el6-x86-64bit
# vim /etc/mysql-proxy.cnf
[mysql-proxy]
user=root #运行mysql-proxy用户
admin-username=proxy #主从mysql共有的用户
admin-password=proxy123 #共有用户密码
proxy-read-only-backend-addresses=xxx.xxx.xxx.xxx:3316 #备库地址
proxy-backend-addresses=xxx.xxx.xxx.xxx:3306 #主库地址
proxy-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua #指定读写分离配置文件位置
admin-lua-script=/usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/admin-sql.lua #指定管理脚本
daemon=true #以守护进程方式运行
keepalive=true #mysql-proxy崩溃时,尝试重启

修改读写分离配置文件

# vim /usr/local/mysql-proxy/mysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/rw-splitting.lua
min_idle_connections = 1, #默认超过4个连接数时才开始读写分离,改为1
max_idle_connections = 1,

mysql-proxy的bin目录下运转mysql-proxy

# ./mysql-proxy --defaults-file=/etc/mysql-proxy.cnf

主库和从库分别创造客商

mysql>GRANT ALL ON *.* TO 'proxy'@'xxx.xxx.xxx' identified by 'proxy123';

创造mysql-proxy的数量里连连(默许端口4040),能够见到在此以前验证主从复制时简历的test库和student表

图片 34

 只修改从库的多寡,然后经过mysql-proxy查询,能够见见读取的数量是从库修改过的数量,读分离验证成功。

主库:图片 35

从库:图片 36

mysql-proxy:图片 37

停下从库的docker容器,通过mysql-proxy插入一条数据,主库中刷新也可能有新扩展的数据,写分离验证成功。

mysql-proxy:图片 38

主库:图片 39

从库:图片 40

 

至此,mysql的主从复制已经因而mysql-proxy实现读写分离已达成。

 

本文由星彩网app下载发布于星彩彩票app下载,转载请注明出处:双主结构完整构建过程,基于docker的mysql主从复制

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。