Keepalived高可用、四层负载均衡

• 2022 年 1 月 10 日
• 笔记
• Keepalived高可用、四层负载均衡, Linux 进阶

Keepalived高可用

高可用简介

一般是指2台机器启动着完全相同的业务系统，当有一台机器宕机了，另外一台服务器就能快速的接管，对于访问的用户是无感知的。

常用的工具

• 硬件通常使用 ：F5
• 软件通常使用 ：keepalived

问题

比如公司的网络是通过网关进行上网的，那么如果该路由器故障了，网关无法转发报文了，此时所有人都无法上网了，怎么办？

通常做法是给路由器增加一台备节点，但是问题是，如果我们的主网关master故障了，用户是需要手动指向backup的，如果用户过多修改起来会非常麻烦。

• 问题一：假设用户将指向都修改为backup路由器，那么master路由器修好了怎么办？
• 问题二：假设Master网关故障，我们将backup网关配置为master网关的ip是否可以？

其实是不行的，因为PC第一次通过ARP广播寻找到Master网关的MAC地址与IP地址后，会将信息写到ARP的缓存表中，那么PC之后连接都是通过那个缓存表的信息去连接，然后进行数据包的转发，即使我们修改了IP但是Mac地址是唯一的，pc的数据包依然会发送给master。（除非是PC的ARP缓存表过期，再次发起ARP广播的时候才能获取新的backup对应的Mac地址与IP地址）

如何才能做到出现故障自动转移，此时VRRP就出现了，我们的VRRP其实是通过软件或者硬件的形式在Master和Backup外面增加一个虚拟的MAC地址（VMAC）与虚拟IP地址（VIP），那么在这种情况下，PC请求VIP的时候，无论是Master处理还是Backup处理，PC仅会在ARP缓存表中记录VMAC与VIP的信息。

名称解释

👉[ARP协议](ARP（地址解析协议）_百度百科 (baidu.com))

👉[VRRP](虚拟路由器冗余协议_百度百科 (baidu.com))

VRRP协议

VRRP协议会在一个局域网中进行广播，来返回服务器的状态，VRRP是一种容错协议，它保证当主机的下一跳路由器出现故障时，由另一台路由器来代替出现故障的路由器进行工作，从而保持网络通信的连续性和可靠性。

部署keepalived

下载安装

[root@lb01 conf.d]# yum install keepalived -y
# 安装好系统会自带一个keepalived的配置文件
[root@lb01 conf.d]# cat /etc/keepalived/keepalived.conf 

Keepalived配置

MASTER和BACKUP节点使用priority设置来比对优先级谁的高

在lb01设置MASTER，lb02设置BACKUP，记得改优先级和标识

[root@lb01 opt]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

# 全局配置
global_defs {
   # 当前keepalived的唯一标识
   router_id lb01
}

# 配置VRRP协议
vrrp_instance VI_1 {
    # 状态，MASTER和BACKUP
    state MASTER
    # 绑定网卡
    interface eth0
    # 虚拟路由标示，可以理解为分组
    virtual_router_id 50
    # 优先级
    priority 100
    # 监测心跳间隔时间
    advert_int 1
    # 配置认证
    authentication {
        # 认证类型
        auth_type PASS
        # 认证的密码
        auth_pass 1111
    }
    # 设置VIP
    virtual_ipaddress {
        # 虚拟的VIP地址，一定要设置成属于绑定网卡内的ip
        192.168.15.3
    }
    # 调用检查
    track_script {
        check_nginx
    }
}

# 启动
[root@lb01 ~]# systemctl enable --now keepalived

# 根据优先级查看ip
[root@lb01 conf.d]# ip a | grep '192.168.15.3'
    inet 192.168.15.3/32 scope global eth0
[root@lb02 ~]# ip a | grep '192.168.15.3'
# 因为lb01中设置的是 MASTER优先级100高，所以ip192.168.15.3在lb01中可以查看

保证nginx配置一样

# 传文件到lb02
[root@lb01 ~]# scp nginx-1.20.2.tar.gz [email protected]:/root/
[root@lb02 ~]# tar -xf nginx-1.20.2.tar.gz 
# 编译安装
# 安装依赖
[root@lb02 nginx-1.20.2]# yum install openssl openssl-devel zlib zlib-devel -y
[root@lb02 nginx-1.20.2]# ./configure --with-http_gzip_static_module --with-stream --with-http_ssl_module --with-http_sub_module
[root@lb02 nginx-1.20.2]# make && make install
[root@lb02 nginx]# mv conf/* /etc/nginx/
[root@lb02 sbin]# mv nginx /usr/sbin/
[root@lb01 /]# scp /usr/lib/systemd/system/nginx.service [email protected]:/usr/lib/systemd/system/
[root@lb02 sbin]# systemctl daemon-reload
[root@lb02 nginx]# systemctl start nginx
[root@lb02 nginx]# systemctl status nginx |grep 'Active:*'
   Active: active (running) since Mon 2022-01-10 16:22:15 CST; 1min 0s ago

解决keepalived的脑裂问题

两台高可用服务器在指定时间内，无法互相检查到对方的“心跳”而各自启动故障转移功能。

1、如果Nginx宕机怎么办？
想办法告诉keepalived，Nginx的情况,只有keepalived服务在nginx宕机的情况下自动停掉，就不会出现VIP竞争资源的问题了

2、局域网之内，keepalived无法相互广播，怎么办？
判断VIP是否可以ping的通


$?  : 上一条命令执行的结果，0代表成功，其他代表失败

编写脚本解决脑裂问题

[root@lb01 ~]# vim /etc/keepalived/checkNG.sh 
#!/bin/bash

# 解决Nginx无法正常启动
ps -ef | grep -q [n]ginx 

if [ $? -ne 0 ];then
	# 代表Nginx未正常启动
	systemctl start nginx &>/dev/null
	sleep 2
	ps -ef | grep -q [n]ginx
	if [ $? -ne 0 ];then
		systemctl stop keepalived 
	fi
fi

# 在配置文件中加入,全局配置下就可以
# 检测脚本
vrrp_script check_nginx {
	# 指定脚本路径
    script "/etc/keepalived/checkNG.sh"
    # 执行间隔
    interval 5
}
# 在配置文件最下面加入
    # 调用检查
    track_script {
        check_nginx
    }

&  :  正确的标准输出和错误的标准输出（上一次执行命令的输出）


# lb01实现，将文件同步到另外一台高可用服务器上

keepalived的非抢占式

解决ip切换时的卡顿问题

实现非抢占式。
1、状态全部都有设置成backup
2、增加 nopreempt 

vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   router_id lb02
}

# 检测脚本
vrrp_script check_nginx {
    # 指定脚本路径
    script "/etc/keepalived/checkNG.sh"
    # 执行间隔
    interval 5
}

# 配置VRRP协议
vrrp_instance VI_1 {
    #状态，MASTER和BACKUP
    state BACKUP
    # 开启非抢占式
    nopreempt
    #绑定网卡
    interface eth0
    #虚拟路由标示，可以理解为分组
    virtual_router_id 50
    #优先级
    priority 90
    #监测心跳间隔时间
    advert_int 1
    #配置认证
    authentication {
        #认证类型
        auth_type PASS
        #认证的密码
        auth_pass 1111
    }
    #设置VIP
    virtual_ipaddress {
        #虚拟的VIP地址
        192.168.15.3
    }
    # 调用检查
    track_script {
        check_nginx
    }
}

四层负载均衡

• 在非HTTP协议的情况下，采用的四层负载均衡的方式负载服务；

• 四层负载均衡中不支持域名(server_name)；

• 必须有Nginx的 –with-stream模块

1、假设有三台MySQL数据库，请问怎样负载均衡？
vim /etc/nginx/nginx.conf
stream{
	include /etc/nginx/stream/*.conf;
}
[root@lb01 nginx]# mkdir stream
[root@lb01 stream]# vim mysql.conf 
server {
    listen 3306;
    proxy_pass 172.16.1.61:3306;
}
[root@db01 ~]# mysql -h172.16.1.5 -uroot -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 5.5.68-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> 

案例：使用四层负载均衡实现SSH的代理，端口为1122
# 修改主配置文件
vim /etc/nginx/nginx.conf
stream{
	include /etc/nginx/stream/*.conf
}

[root@lb01 stream]# vim ssh.conf 
server {
    listen 1122;
    proxy_pass 172.16.1.5:22;
}

【如写错请指正，感谢】