ingress-nginx-controller 部署以及优化

2021 年 8 月 27 日
筆記
ingress-nginx, Kubernetes

一、说明

本文使用的ingress-nginx v1.0 最新版本，v1.0 适用于 Kubernetes 版本 >= v1.19 小于这个版本的k8s集群，请降级ingress-nginx。

二、部署

部署ingress-nginx 比较简单，直接下载github上的 deploy.yaml 部署即可，如果需要优化请看步骤三。
由于网络问题镜像如果拉取失败，可以使用下面我提交到hub.docker 上的镜像：

所需镜像

# 对应官方k8s.gcr.io/ingress-nginx/controller:1.0


docker pull koala2020/ingress-nginx-controller:v1

#对应官方k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.0

docker pull koala2020/ingress-nginx-kube-webhook-certgen:v1

1、下载 ingres-nginx 的 deploy.yaml 文件
由于github 上目录比较多，涵盖了几乎所有平台，所以需要根据自己情况选择，文章是centos 举例：
下载 github 上 /deploy/static/provider/baremetal/ 目录下的deploy.yaml

wget  //github.com/kubernetes/ingress-nginx/blob/controller-v1.0.0/deploy/static/provider/baremetal/deploy.yaml -O deploy.yaml

2、部署
默认不做任何修改即可运行

kubectl apply -f  deploy.yaml

#删除请使用：

kubectl delete -f  deploy.yaml

3、查看运行状态
显示Completed 状态的是两个已经完成任务Job 不用管。

[root@k8s-master01 baremetal]# kubectl get pods -n ingress-nginx 

NAME                                       READY   STATUS      RESTARTS   AGE
ingress-nginx-admission-create-gsllw       0/1     Completed   0          94m
ingress-nginx-admission-patch-7bvsd        0/1     Completed   0          94m
ingress-nginx-controller-f54b4c9bd-tk7fn   1/1     Running     0          94m


#查看 service

[root@k8s-master01 baremetal]# kubectl get svc -n ingress-nginx
NAME                                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             NodePort    10.0.0.112   <none>        80:30220/TCP,443:32164/TCP   102m
ingress-nginx-controller-admission   ClusterIP   10.0.0.129   <none>        443/TCP                      102m

到此 ingress-nginx 就可以正常运行，如果集群中有ingres 项目，那么使用项目域名:30220 端口号就可以访问了，这个端口号是上面ingress-nginx-controller service nodePort随机的。

三、优化

在步骤二里运行ingress-nginx 是不是感觉有问题，例如：
1、每次部署ingres-nginx 都随机一个nodePort 是不是很不方便；
2、使用域名:端口对外提供服务不人性化；
3、所有的访问都集中在一个 ingres-nginx 上 pod，没有起到负载均衡的作用（默认ingress-nginx v1.0 启用一个副本）；
所有综上所诉我们还需要简单的调整参数
4、由于新版本特性，需要ingress-nginx 需要增加 ingressClass，如果老项目没有 ingressClass 怎么办？

负载均衡问题
把配置文件里的 Deployment 换成 DaemonSet 模式，这样保每一台node上都启用 ingress-nginx-controller pod副本。

部分参数如下：

# Source: ingress-nginx/templates/controller-deployment.yaml
apiVersion: apps/v1
#kind: Deployment   //注释掉
kind: DaemonSet     //改为此模式
metadata:
  labels:
    helm.sh/chart: ingress-nginx-4.0.1
...
...

端口问题
默认ingress-nginx 随机提供node port 端口，体验不好，因此需开启hostNetwork 启用80、443端口，配置如下：
依然是修改 Deployment 下面的 spec

    spec:
      hostNetwork: true   //增加
      dnsPolicy: ClusterFirst
      containers:
        - name: controller
          image: koala2020/ingress-nginx-controller:v1 // 镜像地址换成自己私有仓库地址
          imagePullPolicy: IfNotPresent
          lifecycle:

ingressClass 问题
如果不关心 ingressClass，或者很多没有 ingressClass 配置的 ingress 对象，需要添加参数 ingress-controller –watch-ingress-without-class=true。

args:
  - /nginx-ingress-controller
  - --publish-service=$(POD_NAMESPACE)/ingress-nginx-dev-v1-test-controller
  - --election-id=ingress-controller-leader
  - --controller-class=k8s.io/ingress-nginx
  - --configmap=$(POD_NAMESPACE)/ingress-nginx-dev-v1-test-controller
  - --validating-webhook=:8443
  - --validating-webhook-certificate=/usr/local/certificates/cert
  - --validating-webhook-key=/usr/local/certificates/key
  - --watch-ingress-without-class=true  //新增
...
...

添加参数 – –watch-ingress-without-class=true 以后的ingres 会在 ADDRESS 绑定了后端的宿主机ip
而CLASS 为空是因为没有写jenkins的ingressClass，如果启用- –watch-ingress-without-class=true 就不用在关心ingressClass 问题；


[root@k8s-master01 k8s]# kubectl  get ing -A
NAMESPACE   NAME      CLASS    HOSTS                 ADDRESS                                           PORTS     AGE
default     jenkins   <none>   jenkins.example.com   192.168.100.170,192.168.100.171,192.168.100.172   80, 443   3d8h

ingressClass配置示例：

apiVersion: networking.k8s.io/v1
kind: IngressClass
metadata:
  labels:
    app.kubernetes.io/component: controller
  name: nginx
  annotations:
    ingressclass.kubernetes.io/is-default-class: "true"
spec:
  controller: k8s.io/ingress-nginx

Tags: ingress-nginx Kubernetes