HAProxy+keepalived实现TiDB cluster的负载均衡及高可用


一、概述

       目前按官方指引部署的TiDB 集群,其中的TiDB-server组件并不具备负载均衡及高可用特性。因此可采取比较流行的第三方中间件HAProxy+keepalived来解决这个问题。


二、节点信息


三、部署HAProxy

1、安装依赖包

# yum -y install epel-release gcc systemd-devel

2、使用 yum 安装 HAProxy

# yum -y install haproxy

3、验证 HAProxy 安装是否成功

# which haproxy

/usr/sbin/haproxy

4、配置 HAProxy(两个节点配置一样)

# vim /etc/haproxy/haproxy.cfg

global                                    # 全局配置。

  log        127.0.0.1 local2            # 定义全局的 syslog 服务器,最多可以定义两个。

  chroot      /var/lib/haproxy            # 更改当前目录并为启动进程设置超级用户权限,从而提高安全性。

  pidfile    /var/run/haproxy.pid        # 将 HAProxy 进程的 PID 写入 pidfile。

  maxconn    4000                        # 每个 HAProxy 进程所接受的最大并发连接数。

  user        haproxy                    # 同 UID 参数。

  group      haproxy                    # 同 GID 参数,建议使用专用用户组。

  nbproc      40                          # 在后台运行时创建的进程数。在启动多个进程转发请求时,确保该值足够大,保证 HAProxy 不会成为瓶颈。

  daemon                                  # 让 HAProxy 以守护进程的方式工作于后台,等同于命令行参数“-D”的功能。当然,也可以在命令行中用“-db”参数将其禁用。

  stats socket /var/lib/haproxy/stats    # 统计信息保存位置。

defaults                                  # 默认配置。

  log global                              # 日志继承全局配置段的设置。

  retries 2                              # 向上游服务器尝试连接的最大次数,超过此值便认为后端服务器不可用。

  timeout connect  2s                    # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内,可设置成较短的时间。

  timeout client 30000s                  # 客户端与 HAProxy 连接后,数据传输完毕,即非活动连接的超时时间。

  timeout server 30000s                  # 服务器端非活动连接的超时时间。

listen admin_stats                        # frontend 和 backend 的组合体,此监控组的名称可按需进行自定义。

  bind 0.0.0.0:8080                      # 监听端口。

  mode http                              # 监控运行的模式,此处为 `http` 模式。

  option httplog                          # 开始启用记录 HTTP 请求的日志功能。

  maxconn 10                              # 最大并发连接数。

  stats refresh 30s                      # 每隔 30 秒自动刷新监控页面。

  stats uri /haproxy                      # 监控页面的 URL。

  stats realm HAProxy                    # 监控页面的提示信息。

  stats auth admin:admin            # 监控页面的用户和密码,可设置多个用户名。   

  stats hide-version                      # 隐藏监控页面上的 HAProxy 版本信息。

  stats  admin if TRUE                    # 手工启用或禁用后端服务器(HAProxy 1.4.9 及之后版本开始支持)。

listen tidb-cluster                        # 配置 database 负载均衡。

  bind 0.0.0.0:3306                      # 浮动 IP 和 监听端口。

  mode tcp                                # HAProxy 要使用第 4 层的传输层。

  balance leastconn                      # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务,例如 LDAP、SQL、TSE 等,而不是短会话协议,如 HTTP。该算

法是动态的,对于启动慢的服务器,服务器权重会在运行中作调整。

  server tidb_1 192.168.152.129:4000 check inter 2000 rise 2 fall 3      # 检测 4000 端口,检测频率为每 2000 毫秒一次。如果 2 次检测为成功,则认为服务器可用;如果 3 次检测为失败,则认为服务器不可用。

  server tidb_2 192.168.152.130:4000 check inter 2000 rise 2 fall 3

5、启动 HAProxy

# haproxy -f /etc/haproxy/haproxy.cfg

6、停止 HAProxy

# ps -ef|grep haproxy|grep -v grep|awk '{print $2}'|xargs kill -9


四、部署keepalived

1、使用 yum 安装 keepalived

# yum install keepalived -y

2、配置keepalived(两个节点配置不一样)

主节点:

# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_haproxy {

    script "/etc/keepalived/chk.sh"

    interval 2

}

vrrp_instance VI_1 {

    state MASTER

    nopreempt

    interface eth0

    virtual_router_id 51      #定义分组ID,同一组ID相同

    priority 100    #优先级

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass abcd

    }

    virtual_ipaddress {

        192.168.152.168      #VIP

    }

    track_script {

        chk_haproxy

    }

}

备节点:

# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_haproxy {

    script "/etc/keepalived/chk.sh"

    interval 2

}

vrrp_instance VI_1 {

    state BACKUP

    nopreempt

    interface ens33

    virtual_router_id 51      #定义分组ID,同一组ID相同

    priority 90    #优先级

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass abcd

    }

    virtual_ipaddress {

        192.168.152.168      #VIP

    }

    track_script {

        chk_haproxy

    }

}

3、编写haproxy检测脚本

# vim /etc/keepalived/chk.sh

#!/bin/bash

if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then    #判断haproxy是否存活,如果宕了,停止keepalived服务

      /usr/sbin/service keepalived stop

fi

# chmod +x /etc/keepalived/chk.sh 


五、验证

开启haproxy、keepalived,并验证。

# haproxy -f /etc/haproxy/haproxy.cfg

# service keepalived start

主节点:

备节点:

验证(1):

在主节点上关闭TiDB server服务后,vip绑定不变,依然可以通过vip正常连接。

验证(2):

在主节点上关闭HAProxy后,vip漂移到备节点上, 依然可以通过vip正常连接。

主节点:

# ps -ef|grep haproxy|grep -v grep|awk '{print $2}'|xargs kill -9

备节点:

验证(3):

将主节点关机后,vip漂移到备节点上, 依然可以通过vip正常连接。 

主节点:

# init 0

备节点:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容