Docker资源管理

2019 年 10 月 3 日
筆記

一台宿主机可以放多个容器，默认的情况下，Docker 没有对容器进行硬件资源的限制，当容器负载过高时会尽可能的占用宿主机资源，所以有时候我们需要对容器的资源使用设置一个上限，今天我们就来看看如何管理 Docker 使用的资源。真正可以控制的只有内存和CPU

查看宿主机资源使用情况

Docker 使用 cgroups 归类运行在容器中的进程，这就使得我们可以管理一组进程使用的资源。运行 systemd-cgls命令就可以查看 cgroups树：

├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 22  ├─docker  │ ├─93d5ecbdf58ff840f737c41adff9d0f9506aac036a1fd2f0c3f31edf696ce7f1  │ │ ├─24291 mysqld  │ │ ├─29404 bash  │ │ └─29480 mysql -uroot -px xxxx  │ ├─b1f53779101af8778ba8e8dfd0946a84e8c69b3d8b0b35cd8753c46d966ffba5  │ │ ├─23893 mysqld  │ │ ├─25112 bash  │ │ └─28740 mysql -uroot -px xxxx  │ └─57aff029f6c65c6bbe0edcb3f9b61b4c3a6253bd1093d2dfc8ec318dd2cc4b9b  │   ├─23667 mysqld  │   ├─24709 bash  │   └─29649 mysql -uroot -px xxxx  ......

使用 systemd-cgtop 命令可以看到使用最多资源的进程。

CPU

默认情况下，每一个容器可以使用宿主机上的所有 CPU 资源，但大多数系统使用的资源调度算法是CFS（完全公平调度器），它公平调度每一个工作进程。进程分CPU密集型和IO密集型两类。系统内核会实时监测系统进程，当某个进程占用 CPU 资源时间过长时，内核会调整该进程的优先级。

参数

参数名	作用
–cpu-share	cpu资源提供给一组容器使用，组内的容器按比例使用cpu资源，当容器处于空闲状态时，cpu资源被负载大的容器占用，（按压缩方式比例分配），当空闲进行运行起来时，cpu资源会被分配到其他容器
–cpus= value	指定 cpu的核心数量
–cpuset-cpus	指定容器只能运行在哪个cpu核心上（绑定cpu）；核心使用0,1,2,3编号；
–cpu-share	随机指定cpu

实例:

docker run -di --name=os --cpus=2 centos:latest bash

设置内存

默认情况下，docker 并没有对容器内存进行限制，也就是说容器可以使用主机提供的所有内存。这当然是非常危险的事情，如果某个容器运行了恶意的内存消耗软件，或者代码有内存泄露，很可能会导致主机内存耗尽，因此导致服务不可用。对于这种情况，docker 会设置 docker daemon 的 OOM（out of memory）值，使其在内存不足的时候被杀死的优先级降低。另外，就是你可以为每个容器设置内存使用的上限，一旦超过这个上限，容器会被杀死，而不是耗尽主机的内存。

限制内存上限虽然能保护主机，但是也可能会伤害到容器里的服务。如果为服务设置的内存上限太小，会导致服务还在正常工作的时候就被 OOM 杀死；如果设置的过大，会因为调度器算法浪费内存。因此，合理的做法包括：

为应用做内存压力测试，理解正常业务需求下使用的内存情况，然后才能进入生产环境使用
一定要限制容器的内存使用上限
尽量保证主机的资源充足，一旦通过监控发现资源不足，就进行扩容或者对容器进行迁移
如果可以（内存资源充足的情况），尽量不要使用 swap，swap 的使用会导致内存计算复杂，对调度器非常不友好

docker 限制容器内存使用量

在 docker 启动参数中，和内存限制有关的包括（参数的值一般是内存大小，也就是一个正数，后面跟着内存单位 b、k、m、g，分别对应 bytes、KB、MB、和 GB）：

参数	作用
`-m` 或 `--memory`	容器能使用的最大内存大小，最小值为 4m
–memory-swap	容器能够使用的 swap 大小
–memory-swappiness	默认情况下，主机可以把容器使用的匿名页（anonymous page）swap 出来，你可以设置一个 0-100 之间的值，代表允许 swap 出来的比例
–memory-reservation	设置一个内存使用的 soft limit，如果 docker 发现主机内存不足，会执行 OOM 操作。这个值必须小于 `--memory` 设置的值
–kernel-memory	容器能够使用的 kernel memory 大小，最小值为 4m。
–oom-kill-disable	是否运行 OOM 的时候杀死容器。只有设置了 `-m`，才可以把这个选项设置为 false，否则容器会耗尽主机内存，而且导致主机应用被杀死

关于 --memory-swap 的设置必须解释一下，--memory-swap 必须在 --memory 也配置的情况下才能有用。

如果 --memory-swap 的值大于 --memory，那么容器能使用的总内存（内存 + swap）为 --memory-swap 的值，能使用的 swap 值为 --memory-swap 减去 --memory 的值
如果 --memory-swap 为 0，或者和 --memory 的值相同，那么容器能使用两倍于内存的 swap 大小，如果 --memory 对应的值是 200M，那么容器可以使用 400M swap
如果 --memory-swap 的值为 -1，那么不限制 swap 的使用，也就是说主机有多少 swap，容器都可以使用

实例:

docker run -di --name=os -m=1g centos:latest bash

测试

1) 安装 Docker 容器

[root@VM_0_15_centos ~]# docker pull centos:latest

2) 运行容器并指定CPU 和内存

[root@VM_0_15_centos ~]# docker run -di --name=os --cpus=0.3 -m=512MB  centos:latest bash

3) 进入容器并安装压测工具

[root@VM_0_15_centos ~]# docker exec -it os bash    [root@7a1de35f8a52 /]# yum install wget gcc gcc-c++ make -y  [root@7a1de35f8a52 /]# yum install -y epel-release  [root@7a1de35f8a52 /]# yum install stress -y

4) 压测前观察 Docker 资源使用情况

docker stats

5) 压测CPU

stress --cpu 2 --timeout 600

增加2个 CPU 进程，处理 sqrt() 函数函数，以提高系统CPU负荷,测试600S

6) 观察 Docker 资源使用情况

docker stats

可以看到容器 CPU 基本上不能彪到 30%以上了。

7）压测内存

[root@ef431fea0e9e /]# stress --vm 1 --vm-bytes 1g --timeout 600

新增1个 IO 进程，内存大小为 1G，发现进程直接被 kill 掉了

stress: info: [162] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd  stress: FAIL: [162] (415) <-- worker 163 got signal 9  stress: WARN: [162] (417) now reaping child worker processes  stress: FAIL: [162] (451) failed run completed in 1s