xy实践mysql主从复制读写分离


下面是我在实际工作过程中所整理的笔记,在此分享出来,以供大家参考。
一、MySQL的安装与配置具体的安装过程,建议参考我的这一篇文章:http://heylinux.com/archives/993.html值得一提的是,我的安装过程都是源码包编译安装的,并且所有的配置与数据等都统一规划到了/opt/mysql目录中,因此在一台服务器上安装完成以后,可以将整个mysql目录打包,然后传到其它服务器上解包,便可立即使用。
二、MySQL主从复制场景描述:主数据库服务器:192.168.10.130,MySQL已经安装,并且无应用数据。从数据库服务器:192.168.10.131,MySQL已经安装,并且无应用数据。
2.1 主服务器上进行的操作启动mysql服务/opt/mysql/init.d/mysql start
通过命令行登录管理MySQL服务器/opt/mysql/bin/mysql -uroot -p'new-password'
授权给从数据库服务器192.168.10.131mysql> GRANT REPLICATION SLAVE ON . to 'rep1'@'192.168.10.131' identified by ‘password’;
查询主数据库状态Mysql> show master status;+------------------+----------+--------------+------------------+| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |+------------------+----------+--------------+------------------+| mysql-bin.000005 | 261 | | |+------------------+----------+--------------+------------------+
记录下 FILE 及 Position 的值,在后面进行从服务器操作的时候需要用到。
2.2 配置从服务器修改从服务器的配置文件/opt/mysql/etc/my.cnf将 server-id = 1修改为 server-id = 10,并确保这个ID没有被别的MySQL服务所使用。
启动mysql服务/opt/mysql/init.d/mysql start
通过命令行登录管理MySQL服务器/opt/mysql/bin/mysql -uroot -p'new-password'
执行同步SQL语句mysql> change master tomaster_host=’192.168.10.130’,master_user=’rep1’,master_password=’password’,master_log_file=’mysql-bin.000005’,master_log_pos=261;
正确执行后启动Slave同步进程mysql> start slave;
主从同步检查mysql> show slave status\G==============================================**************** 1. row *******************Slave_IO_State:Master_Host: 192.168.10.130Master_User: rep1Master_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000005Read_Master_Log_Pos: 415Relay_Log_File: localhost-relay-bin.000008Relay_Log_Pos: 561Relay_Master_Log_File: mysql-bin.000005Slave_IO_Running: YESSlave_SQL_Running: YESReplicate_Do_DB:……………省略若干……………Master_Server_Id: 11 row in set (0.01 sec)==============================================
其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。
如果主服务器已经存在应用数据,则在进行主从复制时,需要做以下处理:(1)主数据库进行锁表操作,不让数据再进行写入动作mysql> FLUSH TABLES WITH READ LOCK;
(2)查看主数据库状态mysql> show master status;
(3)复制数据文件将主服务器的数据文件(整个/opt/mysql/data目录)复制到从服务器,建议通过tar归档压缩后再传到从服务器解压。
(4)取消主数据库锁定mysql> UNLOCK TABLES;
2.3 验证主从复制效果
主服务器上的操作在主服务器上创建数据库first_dbmysql> create database first_db;Query Ok, 1 row affected (0.01 sec)
在主服务器上创建表first_tbmysql> create table first_tb(id int(3),name char(10));Query Ok, 1 row affected (0.00 sec)
在主服务器上的表first_tb中插入记录mysql> insert into first_tb values (001,’myself’);Query Ok, 1 row affected (0.00 sec)
在从服务器上查看mysql> show databases;=============================+--------------------+| Database |+--------------------+| information_schema || first_db || mysql || performance_schema || test |+--------------------+5 rows in set (0.01 sec)=============================数据库first_db已经自动生成
mysql> use first_dbDatabase chaged
mysql> show tables;=============================+--------------------+| Tables_in_first_db |+--------------------+| first_tb |+--------------------+1 row in set (0.02 sec)=============================数据库表first_tb也已经自动创建
mysql> select * from first_tb;=============================+------+------+| id | name |+------+------+| 1 | myself |+------+------+1 rows in set (0.00 sec)=============================记录也已经存在
由此,整个MySQL主从复制的过程就完成了,接下来,我们进行MySQL读写分离的安装与配置。
三、MySQL读写分离场景描述:数据库Master主服务器:192.168.10.130数据库Slave从服务器:192.168.10.131MySQL-Proxy调度服务器:192.168.10.132
以下操作,均是在192.168.10.132即MySQL-Proxy调度服务器 上进行的。
3.1 MySQL的安装与配置具体的安装过程与上文相同。
3.2 检查系统所需软件包通过 rpm -qa | grep name 的方式验证以下软件包是否已全部安装。gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfiglibevent glib*
若缺少相关的软件包,可通过yum -y install方式在线安装,或直接从系统安装光盘中找到并通过rpm -ivh方式安装。
3.3 编译安装luaMySQL-Proxy的读写分离主要是通过rw-splitting.lua脚本实现的,因此需要安装lua。
lua可通过以下方式获得从http://www.lua.org/download.html下载源码包
从rpm.pbone.net搜索相关的rpm包download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpmdownload.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm
这里我们建议采用源码包进行安装cd /opt/installwget http://www.lua.org/ftp/lua-5.1.4.tar.gztar zvfx lua-5.1.4.tar.gzcd lua-5.1.4
vi src/Makefile在 CFLAGS= -O2 -Wall $(MYCFLAGS) 这一行记录里加上-fPIC,更改为 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 来避免编译过程中出现错误。
make linuxmake install
cp etc/lua.pc /usr/lib/pkgconfig/export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig
3.4 安装配置MySQL-ProxyMySQL-Proxy可通过以下网址获得:http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/
推荐采用已经编译好的二进制版本,因为采用源码包进行编译时,最新版的MySQL-Proxy对automake,glib以及libevent的版本都有很高的要求,而这些软件包都是系统的基础套件,不建议强行进行更新。并且这些已经编译好的二进制版本在解压后都在统一的目录内,因此建议选择以下版本:32位RHEL5平台:http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz64位RHEL5平台:http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz
测试平台为RHEL5 32位,因此选择32位的软件包wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gzmv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy
创建mysql-proxy服务管理脚本mkdir /opt/mysql-proxy/init.d/
vim mysql-proxy
01

!/bin/sh

02

03

mysql-proxy This script starts and stops the mysql-proxy daemon

04

05

chkconfig: - 78 30

06

processname: mysql-proxy

07

description: mysql-proxy is a proxy daemon to mysql

08

09

Source function library.

10

. /etc/rc.d/init.d/functions

11

12

PROXY_PATH=/usr/local/bin

13

PROXY_PATH=/opt/mysql-proxy/bin

14

15

prog=
"mysql-proxy"

16

17

18

Source networking configuration.

19

. /etc/sysconfig/network

20

21

Check that networking is up.

22

[ ${NETWORKING} =
"no"
] &&
exit
0

23

24

Set default mysql-proxy configuration.

25

PROXY_OPTIONS="--daemon"

26

PROXY_OPTIONS=
"--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306 --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua"

27

PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid

28

29

Source mysql-proxy configuration.

30

if
[ -f /etc/sysconfig/mysql-proxy ];
then

31

. /etc/sysconfig/mysql-proxy

32

fi

33

34

PATH=$PATH:/usr/bin:/usr/
local
/bin:$PROXY_PATH

35

36

By default it's all good

37

RETVAL=0

38

39

See how we were called.

40

case
"$1"
in

41

start)

42

Start daemon.

43

echo
-n $
"Starting $prog: "

44

$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-
file
=$PROXY_PID --user=mysql --log-level=warning --log-
file
=/opt/mysql-proxy/log/mysql-proxy.log

45

RETVAL=$?

46

echo

47

if
[ $RETVAL = 0 ];
then

48

touch
/var/lock/subsys/mysql-proxy

49

fi

50

;;

51

stop)

52

Stop daemons.

53

echo
-n $
"Stopping $prog: "

54

killproc $prog

55

RETVAL=$?

56

echo

57

if
[ $RETVAL = 0 ];
then

58

rm
-f /var/lock/subsys/mysql-proxy

59

rm
-f $PROXY_PID

60

fi

61

;;

62

restart)

63

$0 stop

64

sleep
3

65

$0 start

66

;;

67

condrestart)

68

[ -e /var/lock/subsys/mysql-proxy ] && $0 restart

69

;;

70

status)

71

status mysql-proxy

72

RETVAL=$?

73

;;

74

*)

75

echo
"Usage: $0 {start|stop|restart|status|condrestart}"

76

RETVAL=1

77

;;

78

esac

79

80

exit
$RETVAL

脚本参数详解:==============================================PROXY_PATH=/opt/mysql-proxy/bin //定义mysql-proxy服务二进制文件路径
PROXY_OPTIONS="--admin-username=root \ //定义内部管理服务器账号--admin-password=password \ //定义内部管理服务器密码--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定义后端只读从服务器地址--proxy-backend-addresses=192.168.10.130:3306 \ //定义后端主服务器地址--admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定义lua管理脚本路径--proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定义lua读写分离脚本路径
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定义mysql-proxy PID文件路径
$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon \ //定义以守护进程模式启动--keepalive \ //使进程在异常关闭后能够自动恢复--pid-file=$PROXY_PID \ //定义mysql-proxy PID文件路径--user=mysql \ //以mysql用户身份启动服务--log-level=warning \ //定义log日志级别,由高到低分别有(error|warning|info|message|debug)--log-file=/opt/mysql-proxy/log/mysql-proxy.log //定义log日志文件路径==============================================
cp mysql-proxy /opt/mysql-proxy/init.d/chmod +x /opt/mysql-proxy/init.d/mysql-proxy
mkdir /opt/mysql-proxy/runmkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy/scripts
配置并使用rw-splitting.lua读写分离脚本最新的脚本我们可以从最新的mysql-proxy源码包中获取cd /opt/install
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
tar xzvf mysql-proxy-0.8.1.tar.gzcd mysql-proxy-0.8.1cp lib/rw-splitting.lua /opt/mysql-proxy/scripts
修改读写分离脚本rw-splitting.lua修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离vim /opt/mysql-proxy/scripts/rw-splitting.lua=============================-- connection poolif not proxy.global.config.rwsplit thenproxy.global.config.rwsplit = {min_idle_connections = 1, //默认为4max_idle_connections = 1, //默认为8is_debug = false}end=============================
修改完成后,启动mysql-proxy/opt/mysql-proxy/init.d/mysql-proxy start
3.5 测试读写分离效果创建用于读写分离的数据库连接用户登陆主数据库服务器192.168.10.130,通过命令行登录管理MySQL服务器/opt/mysql/bin/mysql -uroot -p'new-password'mysql> GRANT ALL ON . TO 'proxy1'@'192.168.10.132' IDENTIFIED BY 'password';由于我们配置了主从复制功能,因此从数据库服务器192.168.10.131上已经同步了此操作。
为了清晰的看到读写分离的效果,需要暂时关闭MySQL主从复制功能登陆从数据库服务器192.168.10.131,通过命令行登录管理MySQL服务器/opt/mysql/bin/mysql -uroot -p'new-password'
关闭Slave同步进程mysql> stop slave;Query OK, 0 rows affected (0.00 sec)
连接MySQL-Proxy/opt/mysql/bin/mysql -uproxy1 -p'password' -P4040 -h192.168.10.132
登陆成功后,在first_db数据的first_tb表中插入两条记录mysql> use first_db;Database changedmysql> insert into first_tb values (007,’first’);Query Ok, 1 row affected (0.00 sec)mysql> insert into first_tb values (110,’second’);Query Ok, 1 row affected (0.00 sec)
查询记录mysql> select * from first_tb;=============================+------+------+| id | name |+------+------+| 1 | myself |+------+------+1 rows in set (0.00 sec)=============================通过读操作并没有看到新记录
mysql> quit退出MySQL-Proxy
下面,分别登陆到主从数据库服务器,对比记录信息首先,检查主数据库服务器mysql> select * from first_tb;=============================+------+------+| id | name |+------+------+| 1 | myself |+------+------+| 007 | first |+------+------+| 110 | second |+------+------+3 rows in set (0.00 sec)=============================两条新记录都已经存在
然后,检查从数据库服务器mysql> select * from first_tb;=============================+------+------+| id | name |+------+------+| 1 | myself |+------+------+1 rows in set (0.00 sec)=============================没有新记录存在
由此验证,我们已经实现了MySQL读写分离,目前所有的写操作都全部在Master主服务器上,用来避免数据的不同步;另外,所有的读操作都分摊给了其它各个Slave从服务器上,用来分担数据库压力。
经验分享:1.当MySQL主从复制在 show slave status\G 时出现Slave_IO_Running或Slave_SQL_Running 的值不为YES时,需要首先通过 stop slave 来停止从服务器,然后再执行一次本文 2.1与2.2 章节中的步骤即可恢复,但如果想尽可能的同步更多的数据,可以在Slave上将master_log_pos节点的值在之前同步失效的值的基础上增大一些,然后反复测试,直到同步OK。因为MySQL主从复制的原理其实就是从服务器读取主服务器的binlog,然后根据binlog的记录来更新数据库。
2.MySQL-Proxy的rw-splitting.lua脚本在网上有很多版本,但是最准确无误的版本仍然是源码包中所附带的lib/rw-splitting.lua脚本,如果有lua脚本编程基础的话,可以在这个脚本的基础上再进行优化;
3.MySQL-Proxy实际上非常不稳定,在高并发或有错误连接的情况下,进程很容易自动关闭,因此打开--keepalive参数让进程自动恢复是个比较好的办法,但还是不能从根本上解决问题,因此通常最稳妥的做法是在每个从服务器上安装一个MySQL-Proxy供自身使用,虽然比较低效但却能保证稳定性;
4.一主多从的架构并不是最好的架构,通常比较优的做法是通过程序代码和中间件等方面,来规划,比如设置对表数据的自增id值差异增长等方式来实现两个或多个主服务器,但一定要注意保证好这些主服务器数据的完整性,否则效果会比多个一主多从的架构还要差;
5.MySQL-Cluster 的稳定性也不是太好;
6.Amoeba for MySQL 是一款优秀的中间件软件,同样可以实现读写分离,负载均衡等功能,并且稳定性要大大超过MySQL-Proxy,建议大家用来替代MySQL-Proxy,甚至MySQL-Cluster。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容