Kubernetes IPVS和IPTABLES

2022 年 11 月 18 日
筆記
Kubernetes, 深度學習

個人名片：
對人間的熱愛與歌頌，可抵歲月冗長🌞
Github👨🏻‍💻：念舒_C.ying
CSDN主頁✏️：念舒_C.ying
個人部落格🌏 ：念舒_C.ying

Kubernetes IPVS和IPTABLES

Kubernetes使用IPVS
- 安裝IPVS
- - CentOS
  - Ubuntu

什麼是IPVS

IPVS（IP Virtual Server，IP虛擬伺服器）實現了傳輸層的負載平衡，通常稱為4 LAN（四層區域網）交換，是Linux內核的一部分。

IPVS在主機上運行，在真實伺服器集群前面充當負載平衡器。IPVS可以將基於 TCP 和 UDP 的服務請求定向到真實伺服器上。

IPVS vs IPTABLES

IPVS 模式在 Kubernetes v1.8中引入，在v1.9中成為測試版，在v1.11中成為GA。
IPTABLES模式是在v1.1版本中加入的，從v1.2版本開始成為默認的操作模式。

IPVS和IPTABLES都是基於netfilter的。IPVS模式和IPTABLES模式的區別如下：

IPVS為大型集群提供更好的可擴展性和性能。
IPVS比IPTABLES支援更複雜的負載平衡演算法（最小負載、最小連接、定位、加權等）。
IPVS 支援伺服器健康檢查和連接重試等。

IPVS 對 IPTABLES 的依賴

IPVS代理使用IPTABLES做數據包過濾、SNAT或偽裝。具體來說，IPVS代理將使用ipset來存儲需要DROP或做偽裝的流量的源地址或目的地址，以確保無論我們有多少服務，IPTABLES規則的數量不變。

下面是IPVS代理伺服器使用的ipset集的表格。

set name	members	usage
KUBE-CLUSTER-IP	All service IP + port	Mark-Masq for cases that `masquerade-all=true` or `clusterCIDR` specified
KUBE-LOOP-BACK	All service IP + port + IP	masquerade for solving hairpin purpose
KUBE-EXTERNAL-IP	service external IP + port	masquerade for packages to external IPs
KUBE-LOAD-BALANCER	load balancer ingress IP + port	masquerade for packages to load balancer type service
KUBE-LOAD-BALANCER-LOCAL	LB ingress IP + port with `externalTrafficPolicy=local`	accept packages to load balancer with `externalTrafficPolicy=local`
KUBE-LOAD-BALANCER-FW	load balancer ingress IP + port with `loadBalancerSourceRanges`	package filter for load balancer with `loadBalancerSourceRanges` specified
KUBE-LOAD-BALANCER-SOURCE-CIDR	load balancer ingress IP + port + source CIDR	package filter for load balancer with `loadBalancerSourceRanges` specified
KUBE-NODE-PORT-TCP	nodeport type service TCP port	masquerade for packets to nodePort(TCP)
KUBE-NODE-PORT-LOCAL-TCP	nodeport type service TCP port with `externalTrafficPolicy=local`	accept packages to nodeport service with `externalTrafficPolicy=local`
KUBE-NODE-PORT-UDP	nodeport type service UDP port	masquerade for packets to nodePort(UDP)
KUBE-NODE-PORT-LOCAL-UDP	nodeport type service UDP port with `externalTrafficPolicy=local`	accept packages to nodeport service with `externalTrafficPolicy=local`

在以下情況下，IPVS 代理將依賴 IPTABLES。

1. kube-proxy以–masquerade-all=true啟動

如果kube-proxy以--masquerade-all=true啟動，IPVS代理將偽裝所有訪問服務集群IP的流量，這與IPTABLES代理的行為相同。假設kube-proxy指定了標誌--masquerade-all=true，那麼IPVS代理安裝的IPTABLES應該如下所示：

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

2. 在kube-proxy啟動時指定集群CIDR

如果kube-proxy以--cluster-cidr=<cidr>啟動，IPVS代理將偽裝訪問服務集群IP的非集群流量，其行為與IPTABLES代理相同。假設kube-proxy提供的集群cidr是10.244.16.0/24，那麼IPVS代理安裝的IPTABLES應該如下所示。

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (3 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  -- !10.244.16.0/24       0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-CLUSTER-IP dst,dst

3. loadBalancer類型的服務

對於loadBalancer類型的服務，IPVS代理將安裝IPTABLES與ipset KUBE-LOAD-BALANCER匹配。特別是當服務的LoadBalancerSourceRanges被指定或指定externalTrafficPolicy=local時，IPVS代理將創建ipset集KUBE-LOAD-BALANCER-LOCAL/KUBE-LOAD-BALANCER-FW/KUBE-LOAD-BALANCER-SOURCE-CIDR並相應地安裝IPTABLES，它應該看起來像下面所示。

# iptables -t nat -nL

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-FIREWALL (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-SOURCE-CIDR dst,dst,src
KUBE-MARK-DROP  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-LOAD-BALANCER (1 references)
target     prot opt source               destination
KUBE-FIREWALL  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-FW dst,dst
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER-LOCAL dst,dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-MARK-DROP (1 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x8000

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-LOAD-BALANCER  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOAD-BALANCER dst,dst

4. NodePort類型的服務

對於NodePort類型的服務，IPVS代理將安裝IPTABLES與ipset KUBE-NODE-PORT-TCP/KUBE-NODE-PORT-UDP的匹配。當指定externalTrafficPolicy=local時，IPVS代理將創建ipset集KUBE-NODE-PORT-LOCAL-TCP/KUBE-NODE-PORT-LOCAL-UDP並相應地安裝IPTABLES，這應該是如下所示的：

假設服務的TCP類型為nodePort。

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-NODE-PORT (1 references)
target     prot opt source               destination
RETURN     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-LOCAL-TCP dst
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-NODE-PORT  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-NODE-PORT-TCP dst

5. 指定externalIP的服務

對於指定了外部IP的服務，IPVS代理將安裝IPTABLES與ipset KUBE-EXTERNAL-IP匹配，假設我們有指定了外部IP的服務，IPTABLES規則應該如下所示：

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination
KUBE-POSTROUTING  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes postrouting rules */

Chain KUBE-MARK-MASQ (2 references)
target     prot opt source               destination
MARK       all  --  0.0.0.0/0            0.0.0.0/0            MARK or 0x4000

Chain KUBE-POSTROUTING (1 references)
target     prot opt source               destination
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service traffic requiring SNAT */ mark match 0x4000/0x4000
MASQUERADE  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-LOOP-BACK dst,dst,src

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination
KUBE-MARK-MASQ  all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst PHYSDEV match ! --physdev-is-in ADDRTYPE match src-type !LOCAL
ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0            match-set KUBE-EXTERNAL-IP dst,dst ADDRTYPE match dst-type LOCAL

Kubernetes使用IPVS

安裝IPVS

CentOS

yum install ipset ipvsadm -y

Ubuntu

apt-get install ipset ipvsadm -y

設置

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

期待下次的分享，別忘了三連支援部落客呀~
我是 念舒_C.ying ，期待你的關注~💪💪💪

Tags: Kubernetes 深度學習

Kubernetes IPVS和IPTABLES

Kubernetes IPVS和IPTABLES

什麼是IPVS

IPVS vs IPTABLES

IPVS 對 IPTABLES 的依賴

1. kube-proxy以–masquerade-all=true啟動

2. 在kube-proxy啟動時指定集群CIDR

3. loadBalancer類型的服務

4. NodePort類型的服務

5. 指定externalIP的服務

Kubernetes使用IPVS

安裝IPVS

CentOS

Ubuntu

VirMach 便宜 VPS

QNews

Kubernetes IPVS和IPTABLES

Kubernetes IPVS和IPTABLES

什麼是IPVS

IPVS vs IPTABLES

IPVS 對 IPTABLES 的依賴

1. kube-proxy以–masquerade-all=true啟動

2. 在kube-proxy啟動時指定集群CIDR

3. loadBalancer類型的服務

4. NodePort類型的服務

5. 指定externalIP的服務

Kubernetes使用IPVS

安裝IPVS

CentOS

Ubuntu

分享此文：

Related Posts

.NET 雲原生架構師訓練營（模組二 基礎鞏固 EF Core 更新和遷移）–學習筆記

27 億電子郵件地址外泄！ElasticSearch資料庫再次中招

進位原理

day18-web工程路徑

VirMach 便宜 VPS

QNews

熱門搜尋

.NET 雲原生架構師訓練營（模組二基礎鞏固 EF Core 更新和遷移）–學習筆記