diary_report.jpg

Interesting things

接着上一篇。

What did you do today

Keepalived是一个高性能的服务器高可用解决方案，Keepalived主要防止服务器单点故障的发生问题，可以通过Nginx的配合实现web服务端的高可用。

• 还记得我们空出来的192.168.12.77和192.168.12.88吗？这2台设备就是用来配置nginx的集群和高可用。我们可以虚拟出来一个192.168.12.XX，外界请求访问虚拟ip而不是真正的Nginx。

• 那什么是高可用呢？

高可用是指同一时间提供服务的只有一台设备，主服务器挂掉后，备用服务器便开始提供服务。

• 老操作, yum install pcre、yum install pcre-devel、yum install zlib、yum install zlib-devel、yum install openssl、openssl-devel(openssl 现在我可能还用不上)为什么要安装这些？我前几篇博客没有讲，现在来讲讲。

nginx的http模块使用pcre来解析正则表达式
pcre-devel是使用pcre开发的一个二次库，nginx也需要。
zlib提供了很多种压缩的方式，nginx使用zlib对http包的内容进行gzip
nginx支持https，所以需要安装openssl库。

• 下载keepalived-1.2.18.tar.gz

• 把keepalived-1.2.18.tar.gz拷贝到/usr/local/software/目录下

• 解压keepalived-1.2.18.tar.gz到/usr/local/，命令:tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

  
  
  image.png

• 进入/usr/local/keepalived-1.2.18/,进行配置检查。命令：./configure --prefix=/usr/local/keepalived

  
  
  image.png

• 老操作编译安装，make && make install

• 创建/etc/keepalived目录，我们需要把keepalived做成一个服务，这样可以开机自行启动。

  
  
  image.png

• 进入/usr/local/keepalived/etc/keepalived/，将keepalived.conf拷贝到/etc/keepalived/目录下。

  
  
  image.png
  
  
  image.png

• 进入/usr/local/keepalived/etc/rc.d/init.d/目录下，将keepalived拷贝到/etc/init.d/目录下

  
  
  image.png

• 进入/usr/local/keepalived/etc/sysconfig目录下，将keepalived拷贝到/etc/sysconfig/目录下。

• 创建第一个软链接，ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/

• 设置为keepalived开机启动，chkconfig keepalived on

• 开启keepalived服务, service keepalived start.

  
  
  image.png

• 现在192.168.12.77修改/etc/keepalived/keepalived.conf文件。修改后的配置内容如下：

! Configuration File for keepalived
        global_defs {
                 router_id nginx_cx_7_no_1
        }

        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2
                weight -20
        }

        vrrp_instance VI_1 {
        }

        vrrp_instance VI_1 {
                state MASTER
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.77
                priority 100
                nopreempt
                advert_int 1

                authentication {
                        auth_type PASS
                        auth_pass 1111
                }

                track_script {
                        chk_nginx
                }

                virtual_ipaddress {
                        192.168.12.111
                }
        }

• 下面我们就具体的讲讲配置内容。
  1.global_defs代表配置中的主机名，我就把192.168.12.77设置为nginx_cx_7_no_1把，所以router_id的值为nginx_cx_7_no_1

global_defs {
router_id nginx1
}

2.每隔2s去执行/etc/keepalived/nginx_check.sh脚本，这一项检查从开始便一直进行，interval表示间隔时间，weight -20代表脚本执行成功后192.168.12.77这个节点的优先级降低20.
vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight -20
}
3.state MASTER表示该节点角色为master，interface eth0表示设备的网卡是eth0，virtual_router_id 77是取自当前设备的ip也就是192.168.12.77的后两位。mcast_src_ip 192.168.12.7指定当前设备的ip，priority 100代表优先级是100，优先级在keepalived实现高可用方面超级重要。keepalived是根据优先级来选择当前提供服务的设备。

4. 我们这里用192.168.12.77指A设备，用192.168.12.88指B设备。假设A设备的优先级是100，B设备的优先级是90，那么keepalived服务器一开始去检查优先级，发现A设备的优先级很高，于是让A设备当大哥，让它去提供服务。当A设备的nginx挂了后，由于nginx_check脚本每2秒执行一次，发现A设备没有nginx进程后，先会尝试重新启动nginx，如果重新启动还是不行，这就很皮了！然后大发雷霆，就会杀掉所有的keepalived进程。然后回调给keepalived服务器，告知大哥的nginx挂掉了。keepalived服务器得知后，会把A设备的优先级减20，从而A设备的优先级为80。这样下次keepalived来检查优先级时，B设备的优先级比A设备搞，那么B设备就可以对外提供服务。美滋滋，这就实现了高可用。
   5.这段配置，2个节点要一样，表示它们属于一个组，keepalived会同一组中去做检查并保持高可用。

authentication {
auth_type PASS
auth_pass 1111
}

6.track_script里面的chk_nginx要与前面定义的定时执行脚本名(vrrp_script chk_nginx { } )保持一致。

7. 自己定义对外提供服务的虚拟ip。

virtual_ipaddress {
192.168.12.111
}

• 接着我们也修改192.168.12.88的keepalived.conf的内容。如下文所示：

        global_defs {  
                 router_id nginx_cx_8_no_2
        }         
        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2  
                weight -20  
        }       
        
        vrrp_instance VI_1 {
                state BACKUP
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.88
                priority 90  
                nopreempt    
                advert_int 1
                
                authentication {
                        auth_type PASS
                        auth_pass 1111
                }       
                
                track_script {
                        chk_nginx
                }       

                virtual_ipaddress {
                        192.168.12.111
                }
        }

• 我们发现192.168.12.88的keepalived的router_id 是nginx_cx_8_no_2，state是BACKUP(备用)，priority是90。这些和192.168.12.77是不一样的。这里要注意的是virtual_router_id必须要保持一致。

• 192.168.12.77和192.168.12.88设备中我们还没有配置nginx，我们需要解压编译安装nginx。

• 解压nginx-1.6.2.tar.gz到/usr/local/

  
  
  image.png

• 进入/usr/local/nginx-1.6.2/目录，输入 ./configure --prefix=/usr/local/nginx进行验证nginx
  。

  
  
  image.png

• 输入make && make install 编译安装nginx

  
  
  image.png

*在/etc/keepalived/目录下，创建nginx_check.sh，命令:touch nginx_check.sh，然后写入以下脚本：

A=`ps -C nginx --no-header |wc -l`  
if [ $A -eq 0 ];then  
    /usr/local/nginx/sbin/nginx  
    sleep 2  
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
        killall keepalived  
    fi  
fi  

• 老操作，在iptables添加80端口策略，命令：-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT，然后重启防火墙，让策略生效。

  
  
  image.png

• 为了区分欢迎页是哪个节点下的欢迎页，我先修改192.168.12.77的欢迎页。我们进入/usr/local/nginx/html/目录下，修改index.html，如图所示。

  
  
  image.png

• 同样的，在192.168.12.88设备中修改nginx的html目录下的index.html.

  
  
  image.png

• 启动192.168.12.77和192.168.12.88的nginx。

• 访问192.168.12.77

  
  
  image.png

• 访问192.168.12.88

  
  
  image.png

• 然后我们启动192.168.12.77、192.168.12.88的keepalived，service keepalived start

  
  
  image.png
  
  
  image.png

• 启动keepalived后，我们发现两个节点输入ip a，发现都可以看到共同的虚拟ip 192.168.12.111。可是这是不合理的，正确情况下只有master角色的节点上才有虚拟ip

  
  
  image.png
  
  
  image.png

• 造成这个原因的是防火墙，我们可以试着把2个节点的防火墙都关闭，命令是：service iptables stop.

• 关闭之后，我们再在2个节点输入ip a命令。发现只有master有虚拟ip，而backup没有虚拟ip。这才是正确的。我们可以禁止iptables开机启动。命令：chkconfig iptables off.

  
  
  image.png
  
  
  image.png

• 我们用虚拟ip(192.168.12.111)去访问。我们发现启动的是192.168.12.77设备的nginx，里面它的优先级是100，而192.168.12.88设备的nginx优先级是90.

  
  
  image.png

• 我们可以演示一下keepalived的高可用，我们把192.168.12.77的keepalived服务关闭，看keepalived服务器会不会自动切换到192.168.12.88的nginx为我们提供服务。

  
  
  image.png

• 我们再来访问192.168.12.111.此时我们发现是192.168.12.88的nginx为我们提供服务。

  
  
  image.png

• 我们再把192.168.12.77(master)的keepalived服务打开。

  
  
  image.png

• 我们再次访问192.168.12.111.我又发现又切换到nginx master，也就是192.168.12.77

  
  
  image.png

• 我们可以重启192.168.12.77和192.168.12.88。

• 我们使用service keepalived status查看keepalived服务是否自动启动。结果证明自动启动了，美滋滋。

  
  
  image.png
  
  
  image.png

• 我们之前不是说过了吗？nginx_check.sh脚本每隔2s就会检测是否存在nginx进程，如果该节点的nginx进程为0，会尝试重启nginx，如果重启失败的话，则抹杀keepalived进程。我们可以用192.168.12.77做一个测试。

• 先关闭nginx,命令：/usr/local/nginx/sbin/nginx -s stop。很糟糕的事情发生了，出现了一个错误" [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)". 很简单，这说明在/usr/local/nginx/logs/目录下面，缺少nginx.pid文件。

image.png

• 我们只需要输入命令"/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf"即可生成nginx.pid.

  
  
  image.png

• 然后再次输入命令 /usr/local/nginx/sbin/nginx -s stop，就可以关闭nginx了，啦啦啦。

  
  
  image.png

• 接着我们进入/usr/local/nginx/conf/目录下面，修改nginx.conf文件，添加一个小错误，比如添加"cmazxiaoma is handsome"

  
  
  image.png

• 保存nginx.conf后，重新启动nginx，肯定会报错。美滋滋。

  
  
  image.png

• 最后我们查看keepalived进程，发现尼玛还有keepalived进程。

  
  
  image.png

• 我第一反应想到会不会是nginx_check.sh脚本写错了呢？我进入/etc/keepalived/目录，输入命令"sh nginx_check.sh"，发现抛出“killall 未知的命令”。

  
  
  image.png

• 我摸了摸脑袋发现，我的虚拟机都是精简把，没有安装psmisc.那么我们就安装它把。yum install psmisc.

• 安装完毕，我们再查看keepalived进程。发现keepalived进程还是存在的。

  
  
  image.png

• 我觉得nginx_check.sh没有问题，我怀疑它没有得到执行。那么我们就自己执行nginx_check.sh。执行结果如下：

  
  
  image.png

• 我们再次查看keepalived进程，发现keepalived进程都被抹杀了。这证明我的直觉没有问题，nginx_check没有得到执行。

  
  
  image.png

• 我又有一个大胆的想法，会不会是后台执行nginx_check,sh脚本时，没有权限。

• 我们输入nohup /etc/keepalived/nginx_check.sh，提示我们没有权限。

  
  
  image.png

• 权限不够，怎么办？加呗！使用chmod 777 nginx_check.sh，使其他程序能够对nginx_check.sh进行读、写、执行。

  
  
  image.png

• 我们查看keepavlied进程，发现已被nginx_check.sh所抹杀。

image.png

• 哈哈哈，192.168.12.77挂了，那么我们再访问192.168.12.111，nginx有没有切换到192.168.12.88的nginx。结果很让我满意！

  
  
  image.png

Summary

美滋滋，Nginx高可用集群已被搞定。下一篇讲如何把Nginx高可用集群应用到FastDFS集群当中。