k8s驱逐篇(2)-kubelet节点压力驱逐

kubelet节点压力驱逐

kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源,根据kubelet启动参数中的驱逐策略配置,当这些资源中的一个或者多个达到特定的消耗水平,kubelet 可以主动地驱逐节点上一个或者多个pod,以回收资源,降低节点资源压力。

基于kubernets v1.17.4

1.什么时候发生驱逐

kubelet结合以下数据项来做出驱逐决定:
(1)驱逐信号;
(2)驱逐策略;
(3)驱逐监测间隔;

1.1 驱逐信号

节点上的memory、nodefs、pid等资源都有驱逐信号,kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定;

驱逐信号列举如下:
(1)memory.available
(2)nodefs.available
(3)nodefs.inodesFree
(4)imagefs.available
(5)imagefs.inodesFree
(6)pid.available

kubelet支持以下文件系统分区:
(1)nodefs:节点的主要文件系统,用于本地磁盘卷、emptyDir、日志存储等。 例如,nodefs包含/var/lib/kubelet/
(2)imagefs:可选文件系统,供容器运行时存储容器镜像和容器可写层。

1.2 驱逐策略

kubelet节点压力驱逐包括了两种,软驱逐和硬驱逐;

软驱逐

软驱逐机制表示,当node节点的memory、nodefs等资源达到一定的阈值后,需要持续观察一段时间(宽限期),如果期间该资源又恢复到低于阈值,则不进行pod的驱逐,若高于阈值持续了一段时间(宽限期),则触发pod的驱逐。

kubelet软驱逐相关启动参数配置:
(1)eviction-soft:一组软驱逐条件,如memory.available<1.5Gi,nodefs.available<500Mi, 如果驱逐条件持续时长超过对应的驱逐宽限期,则触发pod驱逐;
(2)eviction-soft-grace-period:一组软驱逐宽限期,如memory.available=1m30s,nodefs.available=1m30s
(3)eviction-max-pod-grace-period:pod被软驱逐时,停止pod中container的最大宽限期,默认值0,单位秒;

硬驱逐

硬驱逐策略没有宽限期,当达到硬驱逐条件时,kubelet会立即触发pod的驱逐,而不是优雅终止。

kubelet硬驱逐相关启动参数配置:
(1)eviction-hard:一组硬驱逐条件,如memory.available<1Mi,nodefs.available<1Mi,nodefs.inodesFree<1,kubelet的默认硬驱逐条件为memory.available<100Mi,nodefs.available<10%,imagefs.available<15%,nodefs.inodesFree<5%

其他驱逐参数配置

(1)最小驱逐回收--eviction-minimum-reclaim

在某些情况下,驱逐pod只能回收少量的资源,这可能导致频繁满足驱逐条件而触发驱逐操作;

为了解决上述问题,可以配置--eviction-minimum-reclaim参数,当因某个驱逐信号而触发驱逐,驱逐回收后的资源量不再满足驱逐条件后,会继续回收--eviction-minimum-reclaim参数配置的资源量;

1.3 驱逐监测间隔

如果某一次驱逐逻辑中没有驱逐pod,则会等待10s后再进行下一次的驱逐逻辑轮询调用;

2.驱逐哪些pod

2.1 内存资源

对于因内存资源紧张而发生驱逐时,kubelet根据以下情况来确定pod的驱逐顺序:
(1)pod的实际资源使用量是否超过其请求量,超过的优先被驱逐;
(2)pod的优先级定义(pod.Spec.Priority),值越小越容易被驱逐;
(3)pod实际资源使用量与其请求量的差值大小,差值越小,则越容易被驱逐;

2.2 pid资源

对于因pid资源紧张而发生驱逐时,kubelet根据以下情况来确定pod的驱逐顺序:
(1)pod的优先级定义(pod.Spec.Priority),值越小越容易被驱逐;

2.3 fs资源

2.3.1 有专用imagefs文件系统

对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时,kubelet根据以下情况来确定pod的驱逐顺序:
(1)pod对于资源的实际使用(包括pod的本地卷与pod中所有容器的日志),实际使用量超过请求量的优先被驱逐;
(2)pod对于资源的实际使用(包括pod的本地卷与pod中所有容器的日志)与其请求量之间的差值大小,差值越小,则越容易被驱逐;

对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时,kubelet根据以下情况来确定pod的驱逐顺序:
(1)pod容器可写层资源的实际使用,实际使用量超过请求量的优先被驱逐;
(2)pod容器可写层资源的实际使用与其请求量之间的差值大小,差值越小,则越容易被驱逐;

2.3.2 无专用imagefs文件系统

对于因可用fs大小、inode资源紧张而发生驱逐时,kubelet根据以下情况来确定pod的驱逐顺序:
(1)pod对于资源的实际使用(包括pod容器可写层、pod的本地卷与pod中所有容器的日志),实际使用量超过请求量的优先被驱逐;
(2)pod对于资源的实际使用(包括pod容器可写层、pod的本地卷与pod中所有容器的日志)与其请求量之间的差值大小,差值越小,则越容易被驱逐;

关于是否有专用imagefs文件系统的判断

当nodefs(kubelet的根文件系统)与imagefs(docker镜像存储的文件系统)所在分区相同时,判断为无专用imagefs文件系统,否则判断为有专用imagefs文件系统;

总结一下就是,nodefs是kubelet启动参数--root-dir目录所在分区,imagefs是docker安装目录所在的分区;

3.怎么驱逐pod

pod驱逐流程

(1)根据kubelet启动参数配置,获取驱逐策略配置;
(2)从cAdvisor、CRIRuntimes获取各种统计信息,如节点上各个资源的总量以及使用量情况、容器的资源声明及使用量情况等;
(3)比对驱逐策略配置以及上述的各种资源统计信息,筛选出会触发驱逐的驱逐信号;
(4)将上面筛选出来的驱逐信号做排序,将内存驱逐信号排在所有其他信号之前,并从排序后的结果中取出第一个驱逐信号;
(5)主动尝试回收fs、inode资源,如果回收的资源足够,则直接return,不需要往下执行驱逐pod的逻辑;
(6)根据最终筛选出来的那一个驱逐信号,使用对应的排序函数给pod列表进行排序;
(7)遍历排序后的pod列表,尝试驱逐pod;

几个注意点:
(1)每次的驱逐流程,最多只驱逐一个pod;
(2)一次驱逐流程完成后,如果本次流程有驱逐pod,则马上继续循环执行pod驱逐流程,如果本次驱逐流程没有驱逐pod,则等待10s后再循环执行pod驱逐流程;
(3)驱逐pod,只是将pod.status.phase值更新为Failed,并附上驱逐reason:Evicted以及触发驱逐的详细信息,不会删除pod;而pod.status.phase值被更新为Failed后,replicaset controller会再次创建出新的pod调用到其他节点上,达到驱逐pod的效果;

主动尝试回收fs、inode资源

当因fs、inode资源紧张而需要驱逐pod时,会在驱逐pod之前,先尝试主动回收fs、inode资源;

有专用imagefs文件系统

对于因可用nodefs大小、nodefs inode资源紧张而发生驱逐时,不会触发主动回收fs、inode资源;

对于因可用imagefs大小、imagefs inode资源紧张而发生驱逐时,会触发下列操作来主动回收fs、inode资源:
(1)删除已停止的容器;
(2)删除没有被使用的容器镜像;

无专用imagefs文件系统

对于因可用fs大小、fs inode资源紧张而发生驱逐时,会触发下列操作来主动回收fs、inode资源:
(1)删除已停止的容器;
(2)删除没有被使用的容器镜像;

总结

kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源,根据kubelet启动参数中的驱逐策略配置,当这些资源中的一个或者多个达到特定的消耗水平,kubelet 可以主动地驱逐节点上一个或者多个pod,以回收资源,降低节点资源压力。

本篇文章从什么时候发生驱逐、驱逐哪些pod、怎么驱逐pod三个角度对kubelet节点压力驱逐进行了分析。

下一篇将对kubelet节点压力驱逐做一下源码分析。