keepalived工作原理和配置、使用教程Server

印迹发布于:2020-3-22 901

简介

Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障。

项目地址:https://www.keepalived.org

工作原理

keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议

虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块,分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

配置文件

keepalived只有一个配置文件keepalived.conf,里面主要包括以下几个配置区域,分别是global_defs、static_ipaddress、static_routes、vrrp_script、vrrp_instance和virtual_server。

global_defs区域

主要是配置故障发生时的通知对象以及机器标识

global_defs {    notification_email {        [email protected]
        [email protected]
        ...    }    notification_email_from [email protected]
    smtp_server smtp.abc.com
    smtp_connect_timeout 30    enable_traps
    router_id host163}
  • notification_email 故障发生时给谁发邮件通知。

  • notification_email_from 通知邮件从哪个地址发出。

  • smpt_server 通知邮件的smtp地址。

  • smtp_connect_timeout 连接smtp服务器的超时时间。

  • enable_traps 开启SNMP陷阱(Simple Network Management Protocol)。

  • router_id 标识本节点的字条串,通常为hostname,但不一定非得是hostname。故障发生时,邮件通知会用到。

static_ipaddress和static_routes区域

static_ipaddress和static_routes区域配置的是是本节点的IP和路由信息。如果你的机器上已经配置了IP和路由,那么这两个区域可以不用配置。其实,一般情况下你的机器都会有IP地址和路由信息的,因此没必要再在这两个区域配置。

static_ipaddress {    10.210.214.163/24 brd 10.210.214.255 dev eth0
    ...}static_routes {    10.0.0.0/8 via 10.210.214.1 dev eth0
    ...}

以上分别表示启动/关闭keepalived时在本机执行的如下命令:

# /sbin/ip addr add 10.210.214.163/24 brd 10.210.214.255 dev eth0# /sbin/ip route add 10.0.0.0/8 via 10.210.214.1 dev eth0# /sbin/ip addr del 10.210.214.163/24 brd 10.210.214.255 dev eth0# /sbin/ip route del 10.0.0.0/8 via 10.210.214.1 dev eth0

注意: 请忽略这两个区域,因为我坚信你的机器肯定已经配置了IP和路由。

vrrp_script区域

用来做健康检查的,当时检查失败时会将vrrp_instancepriority减少相应的值。

vrrp_script chk_http_port {    script "</dev/tcp/127.0.0.1/80"    interval 1    weight -10}

以上意思是如果script中的指令执行失败,那么相应的vrrp_instance的优先级会减少10个点。

vrrp_instance和vrrp_sync_group区域

vrrp_instance用来定义对外提供服务的VIP区域及其相关属性。

vrrp_rsync_group用来定义vrrp_intance组,使得这个组内成员动作一致。举个例子来说明一下其功能:

两个vrrp_instance同属于一个vrrp_rsync_group,那么其中一个vrrp_instance发生故障切换时,另一个vrrp_instance也会跟着切换(即使这个instance没有发生故障)。

vrrp_sync_group VG_1 {    group{        inside_network   # name of vrrp_instance (below)        outside_network  # One for each moveable IP.        ...    }    notify_master /path/to_master.sh
    notify_backup /path/to_backup.sh
    notify_fault "/path/fault.sh VG_1"    notify /path/notify.sh
    smtp_alert}vrrp_instance VI_1 {    state MASTER
    interface eth0
    use_vmac <VMAC_INTERFACE>    dont_track_primary
    track_interface {        eth0
        eth1
    }    mcast_src_ip <IPADDR>    lvs_sync_daemon_interface eth1
    garp_master_delay 10    virtual_router_id 1    priority 100    advert_int 1    authentication {        auth_type PASS
        auth_pass 12345678    }    virtual_ipaddress {        10.210.214.253/24 brd 10.210.214.255 dev eth0
        192.168.1.11/24 brd 192.168.1.255 dev eth1
    }    virtual_routes {        172.16.0.0/12 via 10.210.214.1        192.168.1.0/24 via 192.168.1.1 dev eth1
        default via 202.102.152.1    }    track_script {        chk_http_port
    }    nopreempt
    preempt_delay 300    debug
    notify_master <STRING>|<QUOTED-STRING>    notify_backup <STRING>|<QUOTED-STRING>    notify_fault <STRING>|<QUOTED-STRING>    notify <STRING>|<QUOTED-STRING>    smtp_alert}
  • notify_master/backup/fault 分别表示切换为主/备/出错时所执行的脚本。

  • notify 表示任何一状态切换时都会调用该脚本,并且该脚本在以上三个脚本执行完成之后进行调用,keepalived会自动传递三个参数($1 = "GROUP"|"INSTANCE",$2 = name of group or instance,$3 = target state of transition(MASTER/BACKUP/FAULT))。

  • smtp_alert 表示是否开启邮件通知(用全局区域的邮件设置来发通知)。

  • state 可以是MASTER或BACKUP,不过当其他节点keepalived启动时会将priority比较大的节点选举为MASTER,因此该项其实没有实质用途。

  • interface 节点固有IP(非VIP)的网卡,用来发VRRP包。

  • use_vmac 是否使用VRRP的虚拟MAC地址。

  • dont_track_primary 忽略VRRP网卡错误。(默认未设置)

  • track_interface 监控以下网卡,如果任何一个不通就会切换到FALT状态。(可选项)

  • mcast_src_ip 修改vrrp组播包的源地址,默认源地址为master的IP。(由于是组播,因此即使修改了源地址,该master还是能收到回应的)

  • lvs_sync_daemon_interface 绑定lvs syncd的网卡。

  • garp_master_delay 当切为主状态后多久更新ARP缓存,默认5秒。

  • virtual_router_id 取值在0-255之间,用来区分多个instance的VRRP组播。

注意: 同一网段中virtual_router_id的值不能重复,否则会出错,相关错误信息如下。  

Keepalived_vrrp[27120]: ip address associated with VRID not present in received packet :one or more VIP associated with VRID mismatch actual MASTER advert
bogus VRRP packet received on eth1 !!!receive an invalid ip number count associated with VRID!VRRP_Instance(xxx) ignoring received advertisment...

可以用这条命令来查看该网络中所存在的vrid:tcpdump -nn -i any net 224.0.0.0/8

  • priority 用来选举master的,要成为master,那么这个选项的值最好高于其他机器50个点,该项取值范围是1-255(在此范围之外会被识别成默认值100)。

  • advert_int 发VRRP包的时间间隔,即多久进行一次master选举(可以认为是健康查检时间间隔)。

  • authentication 认证区域,认证类型有PASS和HA(IPSEC),推荐使用PASS(密码只识别前8位)。

  • virtual_ipaddress vip,不解释了。

  • virtual_routes 虚拟路由,当IP漂过来之后需要添加的路由信息。

  • virtual_ipaddress_excluded 发送的VRRP包里不包含的IP地址,为减少回应VRRP包的个数。在网卡上绑定的IP地址比较多的时候用。

  • nopreempt 允许一个priority比较低的节点作为master,即使有priority更高的节点启动。

首先nopreemt必须在state为BACKUP的节点上才生效(因为是BACKUP节点决定是否来成为MASTER的),其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP,或者将master节点的priority设置的比BACKUP低。我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项,这样就完成了关于autofailback功能,当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大,然后重新加载配置文件即可(等MASTER切过来之后再将配置文件改回去再reload一下)。

当使用track_script时可以不用加nopreempt,只需要加上preempt_delay 5,这里的间隔时间要大于vrrp_script中定义的时长。

  • preempt_delay master启动多久之后进行接管资源(VIP/Route信息等),并提是没有nopreempt选项。
virtual_server_group和virtual_server区域

virtual_server_group一般在超大型的LVS中用到,一般LVS用不过这东西,因此不多说。

virtual_server IP Port{    delay_loop <INT>    lb_algo rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind NAT|DR|TUN
    persistence_timeout <INT>    persistence_granularity <NETMASK>    protocol TCP
    ha_suspend
    virtualhost <STRING>    alpha
    omega
    quorum <INT>    hysteresis <INT>    quorum_up <STRING>|<QUOTED-STRING>    quorum_down <STRING>|<QUOTED-STRING>    sorry_server <IPADDR><PORT>    real_server <IPADDR><PORT>{        weight <INT>        inhibit_on_failure
        notify_up <STRING>|<QUOTED-STRING>        notify_down <STRING>|<QUOTED-STRING>        # HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK        HTTP_GET|SSL_GET {            url {                path <STRING>                # Digest computed with genhash                digest <STRING>                status_code <INT>            }            connect_port <PORT>            connect_timeout <INT>            nb_get_retry <INT>            delay_before_retry <INT>        }    }}
  • delay_loop 延迟轮询时间(单位秒)。

  • lb_algo 后端调试算法(load balancing algorithm)。

  • lb_kind LVS调度类型NAT/DR/TUN

  • virtualhost 用来给HTTP_GET和SSL_GET配置请求header的。

  • sorry_server 当所有real server宕掉时,sorry server顶替。

  • real_server 真正提供服务的服务器。

  • weight 权重。

  • notify_up/down 当real server宕掉或启动时执行的脚本。

  • 健康检查的方式,N多种方式。

  • path 请求real serserver上的路径。

  • digest/status_code 分别表示用genhash算出的结果和http状态码。

  • connect_port 健康检查,如果端口通则认为服务器正常。

  • connect_timeout,nb_get_retry,delay_before_retry分别表示超时时长、重试次数,下次重试的时间延迟。

其他选项暂时不作说明。

keepalived主从切换

主从切换比较让人蛋疼,需要将backup配置文件的priority选项的值调整的比master高50个点,然后reload配置文件就可以切换了。当时你也可以将master的keepalived停止,这样也可以进行主从切换。

keepalived仅做HA时的配置

请看该文档同级目录下的配置文件示例。

说明:

10.210.214.113 为keepalived的备机,其配置文件为113.keepalived.conf
10.210.214.163 为keepalived的主机,其配置文件为163.keepalived.conf
10.210.214.253 为Virtual IP,即提供服务的内网IP地址,在网卡eth0上面
192.168.1.11 为模拟的提供服务的公网IP地址,在网卡eth1上面

用tcpdump命令来捕获的结果如下:

17:20:07.919419 IP 10.210.214.163>224.0.0.18:VRRPv2,Advertisement, vrid 1, prio 200, authtype simple, intvl 1s, length 20
LVS+Keepalived配置

注Keepalived与LVS结合使用时一般还会用到一个工具ipvsadm,用来查看相关VS相关状态,关于ipvsadm的用法可以参考man手册。

10.67.15.95为keepalived master,VIP为10.67.15.94,配置文件为95-lvs-keepalived.conf
10.67.15.96为keepalived master,VIP为10.67.15.94,配置文件为96-lvs-keepalived.conf
10.67.15.195为real server  

注意:

当使用LVS+DR+Keepalived配置时,需要在real server上添加一条iptables规则(其中dport根据情况添加或缺省):

# iptables -t nat -A PREROUTING -p tcp -d 10.67.15.94 --dport 80 -j REDIRECT

当使用LVS+NAT+Keepalived配置时,需要将real server的默认路由配置成Director的VIP10.67.15.94,必须确保client的请求是通过10.67.15.94到达real server的。

安装keepalived

从keepalived官网下载合适的版本,解压并执行如下命令完成安装。

# cd keepalived-xxx# ./configure --bindir=/usr/bin --sbindir=/usr/sbin --sysconfdir=/etc --mandir=/usr/share# make && make install

你也可以打成RPM包,然后安装。

说明

我们用到的HA场景如下: 两台主机host113和host163,内网IP在eth1网卡上,分别是10.210.214.113和10.210.214.163,VIP为公网IP在eth0上,IP地址是202.102.152.253,网关为202.102.152.1。当VIP在host113上提供服务时,host113上的默认路由为202.102.152.1,提供服务的端口为202.102.152.253:443。host113发生故障需要将VIP及服务切回到host163上的时候,需要以下几步,第一将VIP接管过来,第二添加默认路由202.102.152.1,第三启动在端口202.102.152.253:443上的服务。

如此一来,keepalived需要另外的脚本来完成添加默认路由和启动服务工作,这点和heartbeat中的resources是相同的。目前我进行了测试,发现keepalived速度要比heartbeat快,也就是说效率比heartbeat高。并且,最重要的一点,keepalived支持多个backup。

不要问我为何有以上需求。要为两个不同的域名提供https服务,由于SSL证书问题,必须有两个公网IP地址分别绑定443端口。

当然,通过SNI也可以实现一个公网IP绑定443端口来为多个域名提供https服务,但是这需要浏览器支持(M$的IE浏览器不支持)。(nginx/apache

 

===========================================

Keepalived+Tomcat案例

通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。

当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。

下面来以keepalived结合tomcat来实现一个web服务器的双机热备。

keepalived的工作原理是VRRP(Virtual Router Redundancy Protocol)虚拟路由冗余协议。

在VRRP中有两组重要的概念:VRRP路由器和虚拟路由器,主控路由器和备份路由器。

VRRP路由器是指运行VRRP的路由器,是物理实体,虚拟路由器是指VRRP协议创建的,是逻辑概念。一组VRRP路由器协同工作,共同构成一台虚拟路由器。 Vrrp中存在着一种选举机制,用以选出提供服务的路由即主控路由,其他的则成了备份路由。当主控路由失效后,备份路由中会重新选举出一个主控路由,来继续工作,来保障不间断服务。
我们在本文中的测试环境如下

两台物理服务器和一个虚拟服务器(vip):

master:redhat 2.6.18-53.el5  192.168.8.4
backup: redhat 2.6.18-53.el5  192.168.8.6
vip: 192.168.8.100

测试环境的网络topology图如下:


节点A 192.168.8.4 (主节点), 节点B 192.168.8.6(备用节点),虚拟IP(对外提供服务的IP 192.168.8.100)

在这种模式下,虚拟IP在某时刻只能属于某一个节点,另一个节点作为备用节点存在。

当主节点不可用时,备用节点接管虚拟IP(即虚拟IP漂移至节点B),提供正常服务。

keepalived的原理可以这样简单理解:

keepalived安装在两台物理服务器上,并相互监控对方是否在正常运行。

当节点A正常的时候:节点A上的keepalived会将下面的信息广播出去:

192.168.8.100 这个IP对应的MAC地址为节点A网卡的MAC地址

图中的其它电脑如客户端和NodeB会更新自己的ARP表,对应192.168.8.100的MAC地址=节点A网卡的MAC地址。

当节点A发生故障的时候,节点B上的keepalived会检测到,并且将下面的信息广播出去:

192.168.8.100 这个IP对应的MAC地址为节点B网卡的MAC地址

图中的其它电脑如客户端会更新自己的ARP表,对应192.168.8.100的MAC地址=节点B网卡的MAC地址。

1,在主备机器上安装keepalived,

步骤如下:下载keepalived-1.1.15.tar.gz,然后解压安装

#tar zxvf keepalived-1.1.15.tar.gz
#cd keepalived-1.1.15
#./configure
#make
#make install

2,配置keepalived

配置中的state MASTER决定了节点为主节点

priority决定了优先级,比如在有多个备用节点的时候,主节点故障后优先级值大的接管。

主节点的配置如下:   

global_defs {  
        router_id NodeA  
    }  
    vrrp_instance VI_1 {  
        state MASTER    #设置为主服务器  
        interface eth0  #监测网络接口  
        virtual_router_id 51  #主、备必须一样  
        priority 100   #(主、备机取不同的优先级,主机值较大,备份机值较小,值越大优先级越高)  
        advert_int 1   #VRRP Multicast广播周期秒数  
        authentication {  
        auth_type PASS  #VRRP认证方式,主备必须一致  
        auth_pass 1111   #(密码)  
    }  
    virtual_ipaddress {  
        192.168.8.100/24  #VRRP HA虚拟地址  
    }

备用节点的配置如下:  

 global_defs {  
        router_id NodeB  
    }  
    vrrp_instance VI_1 {  
        state BACKUP    #设置为主服务器  
        interface eth0  #监测网络接口  
        virtual_router_id 51  #主、备必须一样  
        priority 90   #(主、备机取不同的优先级,主机值较大,备份机值较小,值越大优先级越高)  
        advert_int 1   #VRRP Multicast广播周期秒数  
        authentication {  
        auth_type PASS  #VRRP认证方式,主备必须一致  
        auth_pass 1111   #(密码)  
    }  
    virtual_ipaddress {  
        192.168.8.100/24  #VRRP HA虚拟地址  
    }

3,启动keepalived:

keepalived -D -f /usr/local/etc/keepalived/keepalived.conf

查看log消息:

tail -f /var/log/messages

启动主节点A后的日志为:会广播ARP消息 

  [root@srv4 ~]# tail -f /var/log/messages  
    Sep 20 01:45:29 srv4 Keepalived_vrrp: Configuration is using : 34546 Bytes  
    Sep 20 01:45:29 srv4 Keepalived_vrrp: VRRP sockpool: [ifindex(2), proto(112), fd(8,9)]  
    Sep 20 01:45:30 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE  
    Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE  
    Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.  
    Sep 20 01:45:31 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100  
    Sep 20 01:45:31 srv4 Keepalived_vrrp: Netlink reflector reports IP 192.168.8.100 added  
    Sep 20 01:45:31 srv4 Keepalived_healthcheckers: Netlink reflector reports IP 192.168.8.100 added  
    Sep 20 01:45:31 srv4 avahi-daemon[4029]: Registering new address record for 192.168.8.100 on eth0.  
    Sep 20 01:45:36 srv4 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100

 

通过ip a 命令可以看到192.168.8.100/24绑定到了eth0上

    [root@srv4 bin]# ip a  
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue   
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
        inet 127.0.0.1/8 scope host lo  
        inet6 ::1/128 scope host   
           valid_lft forever preferred_lft forever  
    2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000  
        link/ether 00:0c:29:50:2d:9d brd ff:ff:ff:ff:ff:ff  
        inet 192.168.8.4/24 brd 192.168.8.255 scope global eth0  
        inet 192.168.8.100/24 scope global secondary eth0  
        inet6 fe80::20c:29ff:fe50:2d9d/64 scope link   
           valid_lft forever preferred_lft forever


启动备用节点B后的日志为:

Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: Configuration is using : 34262 Bytes  
Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE  
Sep 20 01:47:31 hadoopsrv Keepalived_vrrp: VRRP sockpool: [ifindex(2), proto(112), fd(7,8)]  
Sep 20 01:47:31 hadoopsrv Keepalived: Starting VRRP child process, pid=20567

4,在两台机器上安装tomcat,安装步骤省略

安装完成后在节点A的机器上创建一个html文件内容如下   

this is the test page  
<br>  
from server 192.168.8.4

通过下面的url验证能够正常访问

http://192.168.8.4:8080/test/test.html

安装完成后在节点B的机器上创建一个html文件内容如下

    this is the test page  
    <br>  
    from server 192.168.8.6

通过下面的url验证能够正常访问

http://192.168.8.6:8080/test/test.html

在主节点,节点A正常的时候通过下面的url访问

192.168.8.100:8080/test/test.html

返回的内容应该为主节点上的html

    this is the test page  
    <br>  
    from server 192.168.8.4

将节点A的keepalived停止:

 killall keepalived

通过下面的url访问

192.168.8.100:8080/test/test.html

返回的内容应该为备用节点上的内容

    this is the test page  
    <br>  
    from server 192.168.8.6


同时查看节点B的日志:发现节点B转为主节点并且会广播ARP消息

    Sep 20 01:55:44 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE  
    Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE  
    Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.  
    Sep 20 01:55:45 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100  
    Sep 20 01:55:45 hadoopsrv avahi-daemon[3769]: Registering new address record for 192.168.8.100 on eth0.  
    Sep 20 01:55:50 hadoopsrv Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.8.100

本文的目的主要是演示keepalived实现双机热备的功能和过程。

对于应用本身(tomcat)发生错误,以及"脑裂"等问题是不能解决的



http://www.virplus.com/thread-1245.htm
转载请注明:2020-3-22 于 VirPlus 发表

推荐阅读
最新回复 (0)

    ( 登录 ) 后,可以发表评论!

    返回