Docker資源管理

2019 年 10 月 3 日
筆記

一台宿主機可以放多個容器，默認的情況下，Docker 沒有對容器進行硬件資源的限制，當容器負載過高時會儘可能的佔用宿主機資源，所以有時候我們需要對容器的資源使用設置一個上限，今天我們就來看看如何管理 Docker 使用的資源。真正可以控制的只有內存和CPU

查看宿主機資源使用情況

Docker 使用 cgroups 歸類運行在容器中的進程，這就使得我們可以管理一組進程使用的資源。運行 systemd-cgls命令就可以查看 cgroups樹：

├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 22  ├─docker  │ ├─93d5ecbdf58ff840f737c41adff9d0f9506aac036a1fd2f0c3f31edf696ce7f1  │ │ ├─24291 mysqld  │ │ ├─29404 bash  │ │ └─29480 mysql -uroot -px xxxx  │ ├─b1f53779101af8778ba8e8dfd0946a84e8c69b3d8b0b35cd8753c46d966ffba5  │ │ ├─23893 mysqld  │ │ ├─25112 bash  │ │ └─28740 mysql -uroot -px xxxx  │ └─57aff029f6c65c6bbe0edcb3f9b61b4c3a6253bd1093d2dfc8ec318dd2cc4b9b  │   ├─23667 mysqld  │   ├─24709 bash  │   └─29649 mysql -uroot -px xxxx  ......

使用 systemd-cgtop 命令可以看到使用最多資源的進程。

CPU

默認情況下，每一個容器可以使用宿主機上的所有 CPU 資源，但大多數系統使用的資源調度算法是CFS（完全公平調度器），它公平調度每一個工作進程。進程分CPU密集型和IO密集型兩類。系統內核會實時監測系統進程，當某個進程佔用 CPU 資源時間過長時，內核會調整該進程的優先級。

參數

參數名	作用
–cpu-share	cpu資源提供給一組容器使用，組內的容器按比例使用cpu資源，當容器處於空閑狀態時，cpu資源被負載大的容器佔用，（按壓縮方式比例分配），當空閑進行運行起來時，cpu資源會被分配到其他容器
–cpus= value	指定 cpu的核心數量
–cpuset-cpus	指定容器只能運行在哪個cpu核心上（綁定cpu）；核心使用0,1,2,3編號；
–cpu-share	隨機指定cpu

實例:

docker run -di --name=os --cpus=2 centos:latest bash

設置內存

默認情況下，docker 並沒有對容器內存進行限制，也就是說容器可以使用主機提供的所有內存。這當然是非常危險的事情，如果某個容器運行了惡意的內存消耗軟件，或者代碼有內存泄露，很可能會導致主機內存耗盡，因此導致服務不可用。對於這種情況，docker 會設置 docker daemon 的 OOM（out of memory）值，使其在內存不足的時候被殺死的優先級降低。另外，就是你可以為每個容器設置內存使用的上限，一旦超過這個上限，容器會被殺死，而不是耗盡主機的內存。

限制內存上限雖然能保護主機，但是也可能會傷害到容器里的服務。如果為服務設置的內存上限太小，會導致服務還在正常工作的時候就被 OOM 殺死；如果設置的過大，會因為調度器算法浪費內存。因此，合理的做法包括：

為應用做內存壓力測試，理解正常業務需求下使用的內存情況，然後才能進入生產環境使用
一定要限制容器的內存使用上限
盡量保證主機的資源充足，一旦通過監控發現資源不足，就進行擴容或者對容器進行遷移
如果可以（內存資源充足的情況），盡量不要使用 swap，swap 的使用會導致內存計算複雜，對調度器非常不友好

docker 限制容器內存使用量

在 docker 啟動參數中，和內存限制有關的包括（參數的值一般是內存大小，也就是一個正數，後面跟着內存單位 b、k、m、g，分別對應 bytes、KB、MB、和 GB）：

參數	作用
`-m` 或 `--memory`	容器能使用的最大內存大小，最小值為 4m
–memory-swap	容器能夠使用的 swap 大小
–memory-swappiness	默認情況下，主機可以把容器使用的匿名頁（anonymous page）swap 出來，你可以設置一個 0-100 之間的值，代表允許 swap 出來的比例
–memory-reservation	設置一個內存使用的 soft limit，如果 docker 發現主機內存不足，會執行 OOM 操作。這個值必須小於 `--memory` 設置的值
–kernel-memory	容器能夠使用的 kernel memory 大小，最小值為 4m。
–oom-kill-disable	是否運行 OOM 的時候殺死容器。只有設置了 `-m`，才可以把這個選項設置為 false，否則容器會耗盡主機內存，而且導致主機應用被殺死

關於 --memory-swap 的設置必須解釋一下，--memory-swap 必須在 --memory 也配置的情況下才能有用。

如果 --memory-swap 的值大於 --memory，那麼容器能使用的總內存（內存 + swap）為 --memory-swap 的值，能使用的 swap 值為 --memory-swap 減去 --memory 的值
如果 --memory-swap 為 0，或者和 --memory 的值相同，那麼容器能使用兩倍於內存的 swap 大小，如果 --memory 對應的值是 200M，那麼容器可以使用 400M swap
如果 --memory-swap 的值為 -1，那麼不限制 swap 的使用，也就是說主機有多少 swap，容器都可以使用

實例:

docker run -di --name=os -m=1g centos:latest bash

測試

1) 安裝 Docker 容器

[root@VM_0_15_centos ~]# docker pull centos:latest

2) 運行容器並指定CPU 和內存

[root@VM_0_15_centos ~]# docker run -di --name=os --cpus=0.3 -m=512MB  centos:latest bash

3) 進入容器並安裝壓測工具

[root@VM_0_15_centos ~]# docker exec -it os bash    [root@7a1de35f8a52 /]# yum install wget gcc gcc-c++ make -y  [root@7a1de35f8a52 /]# yum install -y epel-release  [root@7a1de35f8a52 /]# yum install stress -y

4) 壓測前觀察 Docker 資源使用情況

docker stats

5) 壓測CPU

stress --cpu 2 --timeout 600

增加2個 CPU 進程，處理 sqrt() 函數函數，以提高系統CPU負荷,測試600S

6) 觀察 Docker 資源使用情況

docker stats

可以看到容器 CPU 基本上不能彪到 30%以上了。

7）壓測內存

[root@ef431fea0e9e /]# stress --vm 1 --vm-bytes 1g --timeout 600

新增1個 IO 進程，內存大小為 1G，發現進程直接被 kill 掉了

stress: info: [162] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd  stress: FAIL: [162] (415) <-- worker 163 got signal 9  stress: WARN: [162] (417) now reaping child worker processes  stress: FAIL: [162] (451) failed run completed in 1s