Keepalived服务详解

1. VRRP协议

1.1 VRRP协议概述

  • VRRP协议的出现是为了解决静态路由的单点故障，它是通过一种竞选机制来将路由任务交给某个vrrp路由器的
  • 在VRRP物理结构中，有多个物理的VRRP路由器，其中有一台称为“master”（主节点路由器），其他的都是“backup”（备节点路由器）
    • master和backup的身份，是通过他妈的优先级来定义竞选的
  • 在VRRP虚拟结构中，虚拟路由都是通过“MAC+VRID”的形式来标识的，如“00-00-5E-00-01-{VRID}”
    • 只有master节点才会发送VRRP广告包（vrrp advertisement message）
    • 当master节点宕掉的时候，backup中优先级最高的VRRP设备会抢占并升级为master

1.2 VRRP的术语

  • 虚拟路由器
    • 由一个Master路由器和多个Backup路由器组成，主机将虚拟路由器当做默认网关（将Master和Backup看做一个整体）
  • VRID
    • 虚拟路由器的标识，有相同的VRID的一组路由器构成一个虚拟路由器
  • Master路由器
    • 虚拟路由器中承担报文转发任务的路由器
  • Backup路由器
    • 虚拟路由器中备份节点路由器
  • 虚拟IP地址
    • 虚拟路由器的IP地址，一个虚拟路由器可以拥有一个或多个IP地址
  • VIP
    • IP地址拥有者，接口IP地址与虚拟IP地址相同的路由器被称为IP地址拥有者
  • VMAC
    • 虚拟MAC地址，一个虚拟路由器拥有一个虚拟MAC地址，通常情况下，虚拟路由器回应ARP请求使用的是虚拟MAC地址
  • 优先级
    • VRRP根据优先级来确定虚拟路由器中每台路由器的地位
  • 非抢占式
    • 如果backup路由器工作在此模式下，则若Master路由器没有出现故障，backup即使随后被配置了更高的优先级也不会成为Master
  • 抢占式
    • 如果backup路由器工作在抢占方式下，当它收到VRRP报文后，会将主机的优先级与通告报文中的优先级进行比较，
    • 如果主机的优先级比当前的Master路由器的优先级高，就会主动抢占成为Master路由器，否则，将保持Backup状态

1.3 VRRP的工作过程

  • 虚拟路由器中的路由器根据优先级选举出Master
    • Master路由器通过发送免费ARP报文，将主机的虚拟MAC地址通知给它连接的设备或者主机，从而承担报文转发任务
  • Master路由器周期性发送VRRP报文，以公布其配置信息（优先级等）和工作状况
  • 如果Master路由器出现故障，虚拟路由器中的Backup路由器将根据优先级重新选举出新的Master
  • 虚拟路由器状态切换时，Master路由器由一台设备切换为另一台设备
    • 新的Master路由器发送一个携带虚拟路由器的MAC地址和虚拟IP地址信息的免费ARP报文，以更新与它连接的主机中的ARP相关的信息
    • 网路中的主机感知不到Master路由器已经切换为另外一台设备
  • Backup路由器的优先级高于Master路由器时，由Backup路由器的工作方式（抢占方式和非抢占方式）决定是否重新选举Master
  • 为了保证Master路由器和Backup路由器能够协调工作，VRRP需要实现以下功能
    • Master路由器的选举
    • Master路由器状态的通告
    • 为了提高安全性，VRRP还提供了认证功能

1.4 Master路由器的选举

  • VRRP根据优先级来确定虚拟路由器中每台路由器的角色（Master路由器或Backup路由器），优先级越高，则越有可能成为Master路由器
  • 初始创建的路由器在Backup状态，通过VRRP报文获知虚拟路由器中其他成员的优先级
    • 如果VRRP报文中Master路由器的优先级高于自己的优先级，则路由器保持在Backup状态
    • 如果VRRP报文中Master路由器的优先级低于自己的优先级
      • 采用抢占工作方式的路由器将抢占成为Master状态，周期性的发送VRRP报文
      • 采用非抢占式工作方式的路由器仍保持Backup状态
    • 如果在一定时间内没有收到VRRP报文，则路由器切换为Master状态
  • VRRP优先级的取值范围为0到255（数值越大优先级越高），可配置的范围是1到254
    • 优先级0为系统保留给路由器放弃Master位置时候使用，255则是系统保留给IP地址拥有者使用
    • 当路由器为IP地址拥有者时，其优先级始终为255，因此当虚拟路由器内存在IP地址拥有者时，只要其工作正常，则为Master路由器

1.5 Master路由器状态的通告

  • Master路由器周期性发送VRRP报文，在虚拟路由器中公布其配置信息（优先级等）和工作状况
    • Backup路由器通过接收到VRRP报文的情况来判断Master路由器是否工作正常
  • Master路由器主动放弃Master地位（如Master路由器退出虚拟路由器）时
    • 会发送优先级为0的VRRP报文，致使Backup路由器快速切换变成Master路由器，这个切换时间称为Skew time
    • 计算方式为（256-Backup路由器的优先级）/256，单位为秒
  • 当Master路由器因故障不能发送VRRP报文时，Backup路由器并不能立即知道其工作状况
    • Backup路由器等待一段时间后，如果还没接收到VRRP报文，那么会认为Master路由器无法正常工作，而把自己升级为Master路由器，周期性发送VRRP报文，如果此时多个Backup路由器竞争Master路由器的位置，将通过优先级来选举Master路由器，Backup路由器默认等待的时间称为Master_Down_Interval，取值为:(3*VRRP报文的发送时间间隔)+Skewtime，单位为秒
  • 说明
    • 在性能不够稳定的网络中，Backup路由器可能因为网络堵塞而在Master_Down_Interval期间没有收到Master路由器的报文而主动抢占为Master位置，如果此时原Master路由器的报文又到达了，就会出现虚拟路由器的成员频繁的进行Master抢占现象，为了缓解这种现象的发生，特制定了延迟等待定时器，它可以使得Backup路由器在等待了Master_Down_Interval后，再等待延迟等待时间，如在此期间仍然没有收到VRRP报文，此时Backup路由器才会切换为Master路由器，对外发送VRRP报文

1.6 认证方式

1）无认证

  • 不进行任何VRRP报文的合法性认证，不提供安全性保障

2）简单字符认证

  • 在一个有可能受到安全威胁的网络中，可以将认证方式设置为简单字符认证（一般就采用这种认证）
  • 发送VRRP报文的路由器将认证字填入到报文中，而收到VRRP报文的路由器会将收到的VRRP报文中的认证字和本地配置的认证字进行比较，如果认证字相同，则认为接受到的报文是合法的VRRP报文，否则认为接收到的报文是一个非法报文

3）MD5认证

  • 在一个非常不安全的网络中，可以将认证方式设置为MD5认证
  • 发送VRRP报文的路由器利用认证字和MD5算法对VRRP报文进行加密，加密后的报文保存在Authentication Header（认证头）中，收到VRRP报文的路由器会利用认证字解密报文，检查该报文的合法性

2. keepalived

2.1 keepalived概述

1）keepalived的功能

  • 对后端RealServer进行健康状况检查，支持4层、5层和7层协议进行健康检查
  • 对负载均衡器进行高可用，防止Director单点故障

2）keepalived的运作

  • 通过VRRP（Virtual Router Redundancy Protocol）虚拟路由冗余协议来实现故障转移。
  • keepalived正常工作时，主节点（master）会不断的发送心跳信息给备节点（backup）
    • 当备节点在一定时间内没有收到主节点的心跳信息时，备节点会认为主节点宕了，就会接管主节点上的资源，并继续向外提供服务保证其可用性
    • 当主节点恢复时，备节点会自动让出资源并再次自动成为备节点

3）keepalived监控LVS

  • 使用keepalived监控、高可用LVS集群时（keepalived+lvs），并不需要在Director上使用ipvsadm额外配置ipvs规则。
  • 因为keepalived中集合了管理ipvs规则的组件（ipvs wrapper），可以直接在keepalived的配置文件中配置ipvs相关规则，在解析配置文件时会通过特定的组件将规则发送给到内核中的ipvs模块。

2.2 keepalived软件结构

1）VRRP协议

  • vrrp协议在Linux主机上以守护进程方式的实现，原生设计目的是为了高可用ipvs服务
  • 能够根据配置文件生成ipvs规则，并对各RS的健康做检测
    • vrrp_script
    • vrrp_track
  • 基于vrrp协议完成地址滚动
  • 为vip地址所在的节点生成ipvs规则（在配置文件中预先定义）
  • 基于脚本调用接口通过执行脚本完成脚本中定义的功能，进而影响集群事务

2）keepalived的组件

  • keepalived服务启动时，将产生三个相关进程，一个父进程和两个子进程
    • 主进程：Watchdog看门狗主进程
    • 子进程1：VRRP Child
    • 子进程2：Healthchecking Child
  • 两个子进程都会开启本地套接字Unix Domain Socket
    • 当keepalived服务启动后，父进程会通过unix domain socket每隔5秒发送一个hello消息给子进程
    • 如果父进程无法发送消息给子进程，将认为子进程出现问题，于是会重启子进程
  • 核心组件
    • Watchdog
      • 看门狗，负责fork和监控子进程，对Checkers和vrrp stack进行监控
    • Checkers
      • 负责RealServer的健康状况检查，并在LVS的拓扑中移除、添加RealServer
      • 它支持layer4/5/7层的协议检查，该组件使用独立的子进程负责，但被父进程监控
    • VRRP Stack
      • 提供Director的故障转移功能从而实现Director的高可用
      • 该组件可独立提供功能，无需LVS的支持，该组件使用独立的子进程负责，但被父进程监控
    • System Call
      • 提供读取自定义脚本的功能，该组件在使用时，将临时产生一个子进程来执行任务
    • IPVS wrapper
      • 负责将配置文件中的IPVS相关规则发送到内核的ipvs模块
    • Netlink Reflector
      • 用来设定、监控vrrp的ip地址
  • IO复用器
  • 内存管理
  • 配置文件分析器

3）工作模型

  • 主备：单虚拟路由器
  • 主主：主/备（虚拟路由器1）+ 备/主（虚拟路由器2）

3. keepalived的配置和使用

3.1 使用前的配置

  • 各节点时间要同步
  • 确保iptables和selinux不会成为阻碍
  • 确保各节点的用于集群服务的接口支持MULTICAST通信
    • 开启网卡的多播功能：ip link set multicast on dev ens33
    • D类地址：224-239（多播地址的范围）
  • 各节点之间可通过主机名互相通信（可选）
    • 节点的名称设定与hosts文件中解析的主机名都要保持一致
    • uname -n 获得的主机，与解析的主机名要相同
  • 各节点之间基于密钥认证的方式通过ssh互相通信（可选）

3.2 程序环境

  • 主程序文件
    • /usr/sbin/keepalived
  • Unit file
    • /usr/lib/systemd/system/keepalived.service
    • Unix file 的配置文件：/etc/sysconfig/keepalived
  • 配置文件
    • /etc/keepalived/keepalived.conf

3.3 配置文件概述

# 全局配置（全局配置有Global definitions和Static routes/address，全局定义和静态路由）
# GLOBAL CONFIGURATION： 
     global_defs                 # Block id
         {
            ...
         }
        
# 配置vrrp实例（VRRP实例和VRRP同步组）
# VRRPD CONFIGURATION：
     vrrp instance               # 虚拟路由器，VRRP实例
         vrrp_instance  NAME {
              ...
         }
     vrrp synchronization group  # VRRP同步组
         vrrp_sync_group  NAME  {
              ...
         }
# ipvs的相关配置
# LVS CONFIGURATION：
      # 集群服务，服务内的RS
      Virtual server groups 
      Virtual server               #ipvs集群的vs和rs
  • 如果多个实例同进同退，那么就要把他们配置成一个同步组（高可用LVS的NAT模式时）
    • 如下图所示，当vip1在网卡1上时，vip2必须要在网卡2上，所以vip1和vip2必须同进同退
    • vip1在哪个节点上，vip2就应该在哪个节点上

3.4 配置文件详解

1）全局配置

### 全局配置 ###
global_defs {              # 全局部分定义邮件报警系统，可以不用定义
    notification_email {   # 定义邮件发送目标，收件人邮箱地址                
        [email protected]
        [email protected]
    } 
    notification_email_from  [email protected] # 定义发件人邮箱地址
    smtp_server 192.168.200.1    # 定义邮件发送服务器IP，本地发送写localhost
    smtp_connect_timeout 30      # 定义邮件服务器建立连接的超时时长
    router_id c7_node_03         # 标识keepalived服务器的字符串，物理节点的标识符；建议使用主机名

    vrrp_skip_check_adv_addr     # 如果通告与接收的上一个通告来自相同的master路由器，则不执行检查
    ！vrrp_strict                # 严格遵守VRRP协议，这一项最好关闭（加感叹号），若不关闭，可用vip无法被ping通
    vrrp_garp_interval 0.001     # 在一个接口发送的两个免费ARP之间的延迟，可以精确到毫秒级（默认是0）
    vrrp_mcast_group4 225.0.0.18 # IPV4多播地址，默认224.0.0.18，要改一改
    # 可以在多播地址上抓包来看vrrp报文：tcpdump -i ens33 -nn host 224.0.0.18
}

2）vrrp实例配置

### VRRP实例配置 ###
vrrp_instance NAME {
    state MASTER          # 定义实例的角色状态是master还是backup，在当前VRRP实例中此节点的初始状态
    interface eth0        # 定义vrrp绑定的接口，即接收或发送心跳通告的接口，即HA监测接口
    virtual_router_id 51  # 虚拟路由标识(VRID)，同一实例该数值必须相同，即master和backup中该值要相同
                               # 同一网卡上的不同vrrp实例，该值一定不能相同，取值范围为0-255，默认为51
    priority 100          # 该vrrp实例中本机的keepalived的优先级，优先级最高的为master（可用范围0-255）
                               # 该选项的优先级高于state选项，
                               # 即若state指定的是backup，但这里设置的值最高，则仍为master
    advert_int 1          # 心跳信息发送和接收时间间隔，单位为秒

    authentication {      # 认证方式，同一实例中这个配置必须完全一样才可通过认证，只建议使用PASS认证
        auth_type PASS         # 使用简单字符认证的方式
        auth_pass 1111         # 最多支持8字符，超过8字符将只取前8字符
    }

    virtual_ipaddress {   # 设置的VIP，当master出现故障后，VIP会故障转移到backup
                               # 这些vip默认配置在interface指定的接口别名上，可使用dev选项来指定配置接口
                               # 使用ip add的方式添加，若要被ifconfig查看，在IP地址后加上label即可
       192.168.200.16 label eth0:1
       192.168.200.17
       192.168.200.19/24 dev eth1
       # 格式：<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
    }

    # 使用非抢占模式
    nopreempt   
         
    # 使用延迟抢占模式
    preempt_delay  TIME     
}

3）定义通知脚本

  • 定义格式：可以通过notify参数来实现master和backup的切换，且可以附加执行通知脚本 
    vrrp_instance {
    ...
    notify_master  <STRING>|<QUOTED-STRING>  # 当切换到master模式时，执行此脚本
    notify_backup  <STRING>|<QUOTED-STRING>  # 当切换到backup模式时，执行此脚本
    notify_fault  <STRING>|<QUOTED-STRING>   # 当切换到fault模式时，执行此脚本
    notify  <STRING>|<QUOTED-STRING>
}
  • 定义示例 
    vrrp_instance {
    ...
    notify_master "/etc/keepalived/notify.sh master"
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}
  • 脚本示例 
    #!/bin/bash
# Author: hgzerowzh
# Description: An notify script
#
contact='root@localhost'

notify() {
        mailsubject="$(hostname) to be $1: vip floating"
        mailbody="$(date +'%F %H:%M:%S'): vrrp transition, $(hostname) changed to be $1"
        echo $mailbody | mail -s "$mailsubject" $contact
}

case $1 in
    master)
    notify master
    exit 0
    ;;
    backup)
    notify backup
    exit 0
    ;;
    fault)
    notify fault
    exit 0
    ;;
    *)
    echo "Usage: $(basename $0) {master|backup|fault}"
    exit 1
    ;;
esac

3.5 双主配置示例

1）配置图示

 2）配置示例

### node1:###
    vrrp_instance VI_1 {
            state MASTER
            interface eno16777736
            virtual_router_id 101
            priority 100
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass ZPNnTQ6F
            }
            virtual_ipaddress {
                    172.16.100.9/16
            }
    }
    vrrp_instance VI_2 {
            state BACKUP
            interface eno16777736
            virtual_router_id 102
            priority 99
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass IWyijM5Q
            }
            virtual_ipaddress {
                    172.16.100.10/16
            }
    }                                
            
### node2:###
    vrrp_instance VI_1 {
            state BACKUP
            interface eno16777736
            virtual_router_id 101
            priority 99
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass ZPNnTQ6F
            }
            virtual_ipaddress {
                    172.16.100.9/16
            }
    }
    vrrp_instance VI_2 {
            state MASTER
            interface eno16777736
            virtual_router_id 102
            priority 100
            advert_int 1
            authentication {
                    auth_type PASS
                    auth_pass IWyijM5Q
            }
            virtual_ipaddress {
                    172.16.100.10/16
            }
    }    

4. keepalived中配置ipvs

4.1 ipvs配置语法格式

1）定义Virtual Server

virutal_server  vip  port  {  # 虚拟服务地址和端口，使用空格分隔，其中地址为VIP
       ...
}

virtual_server fwmark int  {  # 可以使用防火墙标记来定义
        ...
}
        
### 常用的参数 ###
    delay_loop  <INT>                       # 对后端主机做检测，每隔多长时间发一次请求
    lb_algo   rr|wrr|lc|wlc|lblc|sh|dh      # 调度算法
    lb_kind   NAT|DR|TUN                    # 集群类型
    persistence_timeout  <INT>              # 持久连接时长
    protocol TCP                            # 1.3.0版本之前只支持TCP
    sorry_server  <IPADDR>  <PORT>          # 当所有的RS都挂掉，则使用这里定义的主机提供服务     

2）定义Real Server & 健康状态检测

real_server <IPADDR> <PORT>  {
    ### 常用的参数 ###
    weight <INT>                          # 权重
    notify_up  <STRING>|<QUOTED-STRING>   # 上线脚本
    notify_down  <STRING>|<QUOTED-STRING> # 下线脚本
    ...

    ### 健康状态检测机制（web应用层检测）
    HTTP_GET|SSL_GET
    {
         # 检测参数
         url  {     
                 path  <STRING>        # 对哪个url做检测，使用path指明url
                 status_code <INT>     # 要获得什么响应码才算正确
                 digest <STRING>       # 获取内容的校验码跟所期望的一样 
         }
         nb_get_retry <INT>            # get请求的重试次数
         delay_before_retry <INT>      # 两次重试之间的时间间隔
         connect_timeout <INTEGER>     # 连接超时时长，默认为5s
         warmup <INT>                  # 健康状态检测延迟
    }
    
    ### 传输层健康状态检测（tcp协议层）
    TCP_CHECK
    {
         # 检测参数
         connect_timeout  <INTEGER>    # 每次发起连接时的超时时间
         
         nb_get_retry <INT>            # get请求的重试次数
         delay_before_retry <INT>      # 两次重试之间的时间间隔
         connect_timeout <INTEGER>     # 连接超时时长，默认为5s
         warmup <INT>                  # 健康状态检测延迟
         
         # 其它参数
         connect_ip <IP ADDRESS>       # 向哪个地址的哪个端口做检测
         connect_port <PORT>
         bindto <IP ADDRESS>           # 自己使用固定的地址当源地址发请求
         bind_port <PORT>
    }
}

4.2 keepalived + LVS（NAT）

1）主节点的配置

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_03
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface ens37
    virtual_router_id 66
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {  
       172.168.1.99/24   # 这个虚拟ip是流动网关地址
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface ens33
    virtual_router_id 67
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass taba
    }
    virtual_ipaddress {
       10.0.0.11/24      # 这个虚拟ip是外网访问的浮动ip
    } 
}

# 将VI_1和VI_2做成一个同步组，在这个节点上，VI_1和VI_2同进退
vrrp_sync_group VG_1 {   
    group {
        VI_1
        VI_2
    }
}

# 虚拟服务地址和端口，使用空格分隔，其中地址为外网VIP
virtual_server  10.0.0.11 80 {  
    delay_loop 2              # 健康检查时间间隔
    lb_algo rr                # 定义负载均衡LB的算法，这里使用的是rr轮询调度算法
    lb_kind NAT               # lvs的模型，有NAT、DR、TUN三种
    ! persistence_timeout 3   # 持久会话保持时长
    protocol TCP              # 监控服务的协议类型，1.3.0版本之前只支持tcp，之后还支持udp

    real_server 172.168.1.101 80 {  # 定义后端的real_server部分，地址和端口使用空格分隔
        weight 1              # lvs权重
        HTTP_GET {            # 监控状况检查的检查方式，常见的有HTTP_GET、SSL_GET、TCP_CHECK、MISC_CHECK
            url {
              path /          # 指定http_get健康状况检查的路径，例如检查index.html是否正常
                  status_code 200
                         # 健康状况需要状态码，可以是status_code、digest、或者digest+status_code
                         # digest值用keepalived的genhash命令生成，一般使用status_code即可
                         # curl  -s  //172.168.0.6 |  md5sum
                         # genhash -s 172.168.0.6 -p 80 -u /index.html
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 172.168.1.102 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2     # 表示3秒无响应就超时，即此realserver不健康，需重试连接
            nb_get_retry 3        # 表示重试3次，3次之后都超时就是宕机，防止误伤（nb=number）
            delay_before_retry 1  # 重试的时间间隔
        }                         # 时间如果太久，应改小
    }
}

2）备节点的配置

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_04
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.18

}

vrrp_instance VI_1 {
    state BACKUP
    interface ens37
    virtual_router_id 66
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       172.168.1.99/24
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface ens33
    virtual_router_id 67
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass taba
    }
    virtual_ipaddress {
       10.0.0.11/24
    }
}

vrrp_sync_group VG_1 {
    group {
        VI_1
        VI_2
    }        
}

virtual_server  10.0.0.11 80 {
    delay_loop 2
    lb_algo rr
    lb_kind NAT
    ! persistence_timeout 3
    protocol TCP

    real_server 172.168.1.101 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 172.168.1.102 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

4.3 keepalived + LVS（DR）

1）主节点的配置

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_03
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.16
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 66
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       10.0.0.10
    }
}

virtual_server  10.0.0.10 80 {
    delay_loop 2
    lb_algo wrr
    lb_kind DR
    ! persistence_timeout 3
    protocol TCP

    real_server 10.0.0.205 80 {
        weight 2
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 10.0.0.206 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

2）备节点的配置

! Configuration File for keepalived

global_defs {
   notification_email {
     492540654@qq.com
     2469822904@qq.com
   }
   notification_email_from hgzero@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id c7_node_04
   vrrp_skip_check_adv_addr
   ! vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 225.0.0.16
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 66
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass niba
    }
    virtual_ipaddress {
       10.0.0.10
    }
}

virtual_server  10.0.0.10 80 {
    delay_loop 2
    lb_algo wrr
    lb_kind DR
    ! persistence_timeout 3
    protocol TCP

    real_server 10.0.0.205 80 {
        weight 2
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }

    real_server 10.0.0.206 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}

3）在DR模式中各个Real Server上的自定义脚本

  • 要在每个Real Server上执行此脚本
#!/bin/bash

vip=10.0.0.10
mask='255.255.255.255'

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 $vip netmask $mask broadcast $vip up
    route add -host $vip dev lo:0
    ;;
stop)
    ifconfig lo:0 down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
*) 
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

5. keepalived高可用nginx

5.1 keepalived高可用其他服务

1）原理

  • keepalived调用外部的辅助脚本进行资源监控，并根据监控的结果状态能实现优先动态调整

2）步骤

  • 定义一个脚本 
    vrrp_script  <SCRIPT_NAME> {   # 脚本名，后面要基于脚本名来进行调用
        script  "/script.sh"   # 执行的命令或脚本
        interval  INT          # 每隔多少时间，这个监控脚本要执行一次
        weight   -INT          # 万一失败了，当前节点的权重要减去多少，一般来讲讲，减去后的值要小于备用节点
}
  • 调用此脚本 
    # 在某个vrrp的示例中去调用脚本实例
track_script {
        SCRIPT_NAME_1
        SCRIPT_NAME_2
        ...
}

5.2 keepalived高可用nginx

1）配置keepalived.conf文件

global_defs {
    notification_email {
            root@localhost
    }
    notification_email_from  keepalived@localhost
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id node1
    vrrp_mcast_group4 224.0.100.19
}

# 如果想要调整某个keepalived主机，只需要在keepalived目录下创建一个down文件
# 通过监测这个文件的存在与否，即可将该节点权重降低，从而可以去配置调整它
# 如果不想让它降权了，就将down文件删除
vrrp_script chk_down { 
    # 如果这个文件存在就错误退出，否则就正常退出  
    script  "[[  -f /etc/keepalived/down  ]]  &&  exit 1  ||  exit 0"  
    # 注意，这里最好将脚本写入shell文件中，然后在这里调用shell脚本文件，注意用全路径
        interval 1          
        weight -5           # 一旦上面的文件存在（错误退出），就将这个节点降权
        fall 1
        rise 1
}

vrrp_script chk_nginx {
    script  "killall  -0  nginx  &&  exit 0 ||  exit 1"  # 这里killall -0表示检测nginx进程是否存在
    # 注意，这里最好将脚本写入shell文件中，然后在这里调用shell脚本文件，注意用全路径
    interval  1             # 每隔一秒检测一次上面的脚本是否能成功执行
    weight  -5              # 如果脚本执行失败就将权重-2
    fall  3                 # 如果失败3次失败，才确认为失败
    rise  3                 # 需要成功的次数，如果3次检查都成功，那么就立即将减去的权重加回去
}

vrrp_instance  VI_1 {
    state  MASTER
    interface eno16777736
    virtual_router_id 14
    priority  100
    advert_int  1
    authentication {
            auth_type  PASS
            auth_pass 571f97b2  # 如果有多个vrrp实例，这里的密码一定不能相同
    }
    vritual_ipaddress {
            10.1.0.93/16  dev  eno16777736
    }
    track_script {              # 在这里来调用之前的脚本
            chk_down
            chk_nginx
    }

    notify_master  "/etc/keepalived/notify.sh  master"
    notify_backup  "/etc/keepalived/notify.sh  backup"
    notify_fault   "/etc/keepalived/notify.sh  fault"
}

2）定义notify脚本

#!/bin/bash
#
contact='root@localhost'
notify() {
        local  mailsubject="$(hostname) to be $1,  vip floating"
        local  mailbody="$(date  + '%F  %T' ): vrrp  transition, $(hostname)  changed  to  be  $1"
        echo "$mailbody"  |  mail  -s  "$mailsubject"  $contact
}

case  $1  in
master)
        # 当当前节点变成主节点的时候，就启用nginx服务
        systemctl  start  nginx.service  
        notify  master
        ;;
backup)
        # 当当前节点变成备用节点的时候，要启用nginx，防止备节点也被降权，导致vip没有被转移
        systemctl  start  nginx.service   
    notify  backup
        ;;
fault)
        # 当当前节点出错时，就停掉nginx服务（但是如果做nginx的双主，即使fault也不能停掉nginx）
        systemctl  stop  nginx.service  
        notify  fault
        ;;
*)
        echo  "Usage: $(basename  $0) { master|backup|fault}"
        exit  1
        ;;
esac

3）其他相关

# 监控关注的网络接口
    track_interface {
            IFACE_NAME_1
        IFACE_NAME_2
    }

# 在nginx上配置反向代理：
    upstream  websrvs  {
            server  192.168.10.11:80;
            server  192.168.10.12:80;
    }
    location  /  {
            proxy_pass  http:/websrvs;
    }

 

 

 

Tags:

VirMach 便宜 VPS

QNews

QNews