1.1 Keepalived高可用软件简介
目前互联网主流的实现WEB网站及数据库服务高可用软件包括：keepalived、heartbeat等。Heartbeat是比较早期的实现高可用软件，而keepalived是目前轻量级的管理方便、易用的高可用软件解决方案，得到互联网公司IT人的青睐。
Keepalived是一个类似于工作在layer3, 4 & 7交换机制的软件，Keepalived软件有两种功能，分别是健康检查、VRRP冗余协议，keepalived是模块化设计，不同模块负责不同的功能，keepalived常用模块包括：
- Core，是keepalived的核心，负责主进程的启动和维护，全局配置文件的加载解析等 。
- Check，负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析;
- Vrrp，VRRPD子进程，VRRPD子进程就是来实现VRRP协议;
- Libipfwc，iptables(ipchains)库，配置LVS会用到;
- Libipvs，虚拟服务集群，配置LVS会使用。
Keepalived的作用是检测web服务器的状态，如果有一台web服务器、Mysql服务器宕机，或工作出现故障，Keepalived将检测到后，会将有故障的web服务器或者Mysql服务器从系统中剔除，当服务器工作正常后Keepalived自动将web、Mysql服务器加入到服务器群中。
这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的WEB和Mysql服务器。Layer3,4&7工作在IP/TCP协议栈的IP层、传输层及应用层，实现原理分别如下：
- Layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包（,如果发现某台服务的IP地址无法ping通，Keepalived便报告这台服务器失效，并将它从服务器集群中剔除。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。
- Layer4: Layer4主要以TCP端口的状态来决定服务器工作正常与否。如WEB server的服务端口一般是80，如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中剔除。
- Layer7：Layer7工作在应用层，Keepalived将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则Keepalived将把服务器从服务器群中剔除。
生产环境使用Keepalived正常运行，共启动3个进程，一个是父进程，负责监控其子进程，一个是VRRP子进程，另外一个是Checkers子进程。两个子进程都被系统Watchlog看管，两个子进程各自负责自己的事，Healthcheck子进程检查各自服务器的健康状况，如果Healthcheck进程检查到Master上服务不可用了，就会通知本机上的VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态。
1.2 Keepalived VRRP原理剖析一
Virtual Router Redundancy Protocol（VRRP）技术，虚拟路由器冗余协议。VRRP由IETF提出，目的是为了解决局域网中配置默认网关的单点失效问题，1998年已推出正式的RFC2338协议标准。
VRRP广泛应用在边缘网络中，它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱，允许主机使用单路由器，以及及时在实际第一跳路由器使用失败的情形下仍能够维护路由器间的连通性。
在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：
- 主机上使用动态路由协议RIP、OSPF;
- 主机上配置静态路由。
在主机上配置路态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点，VRRP的目的就是为了解决静态路由单点故障问题。VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。
1.3 Keepalived VRRP原理剖析二
通过VRRP技术可以将两台物理主机当成路由器，两台物理机主机组成一个虚拟路由集群，Master高的主机产生VIP，该VIP负责转发用户发起的IP包或者负责处理用户的请求，Nginx+Keepalived组合，用户的请求直接访问keepalived VIP地址，然后访问Master相应服务和端口。
在VRRP虚拟路由器集群中，由多台物理的路由器组成，但是这多台的物理路由器并不能同时工作，而是由一台称为MASTER路由器负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP会让每个VRRP路由器参与竞选，最终获胜的就是MASTER。
MASTER拥有一些特权，例如拥有虚拟路由器的IP地址或者成为VIP，拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP组播(multicast)包(组播地址 224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以在一组虚拟路由器集群中，不管谁是MASTER，对外都是相同的MAC和VIP。客户端主机并不需要因为MASTER的改变而修改自己的路由配置。
作为MASTER的VRRP路由器会一直发送VRRP组播包(VRRP Advertisement message)，BACKUP不会抢占MASTER，除非它的优先级(Priority)更高。当MASTER不可用时(BACKUP收不到组播包时)， 多台BACKUP中优先级最高的这台会抢占为MASTER。
这种抢占是非常快速的，以保证服务的连续性。由于安全性考虑VRRP包使用了加密协议进行，基于VRRP技术，可以实现IP地址漂移，是一种容错协议，广泛应用于企业生产环境中。
1.4 企业级Nginx+Keepalived集群实战
随着Nginx在国内的发展潮流，越来越多的互联网公司都在使用Nginx，Nginx高性能、稳定性成为IT人士青睐的HTTP和反向代理服务器。
Nginx负载均衡一般位于整个网站架构的最前端或者中间层，如果为最前端时单台Nginx会存在单点故障，也就是一台Nginx宕机，会影响用户对整个网站的访问。
所以需要加入Nginx备份服务器，Nginx主服务器与备份服务器之间形成高可用，一旦发现Nginx主宕机，能快速将网站恢复至备份主机。Nginx+keepalived网络架构如图23-1所示：
图23-1 Nginx+Keepalived架构图
Nginx+keepalived高性能WEB网络架构实战配置如下步骤： （1） 环境准备 Nginx版本：nginx v1.12.0 Keepalived版本：keepalived v1.2.1 Nginx-1：192.168.33.8 （Master） Nginx-2：192.168.33.10 （Backup） |
（2） Nginx安装配置，Master、Backup服务器安装Nginx、keepalived，yum install -y pcre-devel 安装perl 兼容的正规表达式库。 tar -xzf nginx-1.24.0.tar.gz cd nginx-1.24.0 sed -i -e 's/1.12.0//g' -e 's/nginx\//TDTWS/g' -e 's/"NGINX"/"TDTWS"/g' src/core/nginx.h ./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-http_ssl_module make make install |
（3） Keepalived安装配置 tar -xzvf keepalived-1.2.1.tar.gz cd keepalived-1.2.1 ./configure make make install DIR=/usr/local/ cp $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/ mkdir -p /etc/keepalived cp $DIR/sbin/keepalived /usr/sbin/ |
（4） 配置Keepalived，两台服务器keepalived.conf内容都为如下，state均设置为backup，Backup服务器需要修改优先级为90。 ! Configuration File for keepalived global_defs { notification_email { support@jfedu.net } smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_nginx { script "/data/sh/check_nginx.sh" interval 2 weight 2 } # VIP1 vrrp_instance VI_1 { state BACKUP interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 151 priority 100 advert_int 5 nopreempt authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.33.188 } track_script { chk_nginx } } |
如上配置还需要建立check_nginx脚本，用于检查本地Nginx是否存活，如果不存活，则kill keepalived实现切换。其中check_nginx.sh脚本内容如下： #!/bin/bash #auto check nginx process #2022-5-26 17:47:12 #by author jfedu.net killall -0 nginx if [[ $? -ne 0 ]];then /etc/init.d/keepalived stop fi |
1.5 Keepalived配置文件实战完整的keepalived的配置文件，其配置文件keepalived.conf可以包含三个文本块：全局定义块、VRRP实例定义块及虚拟服务器定义块。全局定义块和虚拟服务器定义块是必须的，如果在只有一个负载均衡器的场合，就不须VRRP实例定义块。 #全局定义块 global_defs { notification_email { #指定keepalived在发生切换时需要发送email到的对象，一行一个; wgkgood@gmail.com } notification_email_from root@localhost #指定发件人 smtp_server 127.0.0.1 #指定smtp服务器地址 smtp_connect_timeout 3 #指定smtp连接超时时间 router_id LVS_DEVEL #运行keepalived机器的标识 } #监控Nginx进程 vrrp_script chk_nginx { script "/data/script/nginx.sh" #监控服务脚本，脚本x执行权限; interval 2 #检测时间间隔(执行脚本间隔) weight 2 } #VRRP实例定义块 vrrp_sync_group VG_1{ 监控多个网段的实例 group { VI_1 实例名 VI_2 } notify_master /data/sh/nginx.sh #指定当切换到master时，执行的脚本 notify_backup /data/sh/nginx.sh #指定当切换到backup时，执行的脚本 notify /data/sh/nginx.sh #发送任何切换，均执行的脚本 smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知 } vrrp_instance VI_1 { state BACKUP #设置主机状态，MASTER|BACKUP nopreempt #设置为不抢占 interface eth0 #对外提供服务的网络接口 lvs_sync_daemon_inteface eth0 #负载均衡器之间监控接口; track_interface { #设置额外的监控，网卡出现问题都会切换; eth0 eth1 } mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求 virtual_router_id 50 #VRID标记 ,路由ID，可通过#tcpdump vrrp查看 priority 90 #优先级，高优先级竞选为master advert_int 5 #检查间隔，默认1秒 preempt_delay #抢占延时，默认5分钟 debug #debug日志级别 authentication { #设置认证 auth_type PASS #认证方式 auth_pass 1111 #认证密码 } track_script { #以脚本为监控chk_nginx; chk_nginx } virtual_ipaddress { #设置vip 192.168.111.188 } } 注意：使用了脚本监控Nginx或者MYSQL，不需要如下虚拟服务器设置块。 #虚拟服务器定义块 virtual_server 192.168.111.188 3306 { delay_loop 6 #健康检查时间间隔 lb_algo rr #调度算法rr|wrr|lc|wlc|lblc|sh|dh lb_kind DR #负载均衡转发规则NAT|DR|TUN persistence_timeout 5 #会话保持时间 protocol TCP #使用的协议 real_server 192.168.1.12 3306 { weight 1 #默认为1,0为失效 notify_up <string> | <quoted-string> #在检测到server up后执行脚本; notify_down <string> | <quoted-string> #在检测到server down后执行脚本; TCP_CHECK { connect_timeout 3 #连接超时时间; nb_get_retry 1 #重连次数; delay_before_retry 1 #重连间隔时间; connect_port 3306 #健康检查的端口; } HTTP_GET { url { path /index.html #检测url，可写多个 digest 24326582a86bee478bac72d5af25089e #检测效验码 #digest效验码获取方法：genhash -s IP -p 80 -u http://IP/index.html status_code 200 #检测返回http状态码 } } } |
| 
发表于 2024-1-11 16:49:00
