docker容器技術基礎之linux cgroup、namespace
一、開頭
接觸過docker的同學多多少少聽過這樣一句話「docker容器通過linux namespace、cgroup特性實現資源的隔離與限制」。今天我們來嘗試學習一下這兩個東西。
二、關於namesapce
命名空間將全局系統資源包裝在一個抽象中,使命名空間內的進程看起來它們擁有自己獨立的全局資源實例。命名空間內對全局資源的改變對其他進程可見，命名空間的成員對其他進程不可見。
目前linux 內核已實現的7種命名空間如下：
Namespace Flag（API操作類型別名） Isolates（隔離內容）
Cgroup CLONE_NEWCGROUP Cgroup root directory (since Linux 4.6)
IPC CLONE_NEWIPC System V IPC, POSIX message queues (since Linux 2.6.19)
Network CLONE_NEWNET Network devices, stacks, ports, etc. (since Linux 2.6.24)
Mount CLONE_NEWNS Mount points (since Linux 2.4.19)
PID CLONE_NEWPID Process IDs (since Linux 2.6.24)
User CLONE_NEWUSER User and group IDs (started in Linux 2.6.23 and completed in Linux 3.8)
UTS CLONE_NEWUTS Hostname and NIS domain name (since Linux 2.6.19)
查看進程的namespace
[root@i-k9pwet2d ~]# pidof bash
14208 11123 2053
[root@i-k9pwet2d ~]# ls -l /proc/14208/ns
total 0
lrwxrwxrwx 1 root root 0 Jul 20 09:36 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Jul 20 09:36 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 Jul 20 09:36 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 Jul 20 09:36 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 Jul 20 09:36 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Jul 20 09:36 uts -> uts:[4026531838]
每一個進程在/proc/[pid]/ns 都可以看到其所屬的namespace資訊，這些鏈接文件指向所屬的namespace及inode ID,我們可以通過readlink 來查看兩個進程的是否屬於同一個命名空間，inode相同則他們所屬相同命名空間
[root@i-k9pwet2d ~]# readlink /proc/11123/ns/uts
uts:[4026531838]
[root@i-k9pwet2d ~]# readlink /proc/14208/ns/uts
uts:[4026531838]
如何將你的進程註冊到命名空間（API操作）？
clone()：創建一個新的命名空間，子進程同屬新的命名空間,flags即我們創建的namespace類型，形如CLONE_NEW*
int clone(int (*fn)(void *), void *stack, int flags, void *arg, ...
/* pid_t *parent_tid, void *tls, pid_t *child_tid */ );
setns(): 加入一個命名空間，fd為/proc/[pid]/ns 下的鏈接文件，nstype即我們的Flag
int setns(int fd, int nstype);
unshare() ：退出某個namespace並加入創建的新空間。
int unshare(int flags);
ioctl() : ioctl系統調用可用於查詢命名空間的資訊
int ioctl(int fd , unsigned long request , ...);
下面我們通過shell 命令 unshare 來看看命名空間7大隔離實現
1.PID Namespace
PID Namespace 的作用是用來隔離進程，利用 PID Namespace 可以實現每個容器的主進程為 1 號進程，而容器內的進程在主機上卻擁有不同的PID。
[root@i-k9pwet2d ~]# unshare --fork --pid --mount-proc /bin/bash
[root@i-k9pwet2d ~]# ps -aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.1 115680 2036 pts/0 S 10:46 0:00 /bin/bash
root 12 0.0 0.1 115684 2048 pts/0 S 10:47 0:00 -bash
root 30 0.0 0.0 155468 1804 pts/0 R+ 10:57 0:00 ps -aux
ls -l /proc/1/ns
total 0
lrwxrwxrwx 1 root root 0 Jul 20 11:05 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Jul 20 11:05 mnt -> mnt:[4026532545]
lrwxrwxrwx 1 root root 0 Jul 20 11:05 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 Jul 20 11:05 pid -> pid:[4026532546]
lrwxrwxrwx 1 root root 0 Jul 20 11:05 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Jul 20 11:05 uts -> uts:[4026531838]
在新的PID Namespace中我們只能看到自身命名空間的進程。並且當前的bash處於起來的mnt、pid命名空間。
2.Mount Namespace
它可以用來隔離不同的進程或進程組看到的掛載點。在容器內的掛載操作不會影響主機的掛載目錄。
我們創建一個命名空間
unshare --mount --fork /bin/bash
掛在一個目錄
[root@i-k9pwet2d ~]# mkdir /tmp/mnt
[root@i-k9pwet2d ~]# mount -t tmpfs -o size=1m tmpfs /tmp/mnt
[root@i-k9pwet2d ~]# df -h |grep mnt
tmpfs 1M 0 1M 0% /tmp/mnt
在命名空間內的掛載並不影響我們的主機目錄，我們在主機上查看不到掛載資訊
df -h |grep mnt
3.User Namespace
User Namespace用來隔離用戶和用戶組。我們來創建一個用戶命名空間並修改提示符
[root@i-k9pwet2d ~]# PS1='\u@container#' unshare --user -r /bin/bash
root@container#
再查看ns，用戶鏈接是不同的，已處於不同空間。
[root@i-k9pwet2d ~]# readlink /proc/1835/ns/user
user:[4026532192]
[root@i-k9pwet2d ~]# readlink /proc/$$/ns/user
user:[4026531837]
用戶命名空間的最大優勢是無需 root 許可權即可運行容器，避免應用使用root對主機的影響。
4.UTS Namespace
UTS Namespace 用於隔離主機名的，它允許每個 UTS Namespace 擁有一個獨立的主機名。
[root@i-k9pwet2d ~]# unshare --fork --uts /bin/bash
在命名空間中修改主機名,在主機中不受影響
[root@i-k9pwet2d ~]# hostname -b container
[root@i-k9pwet2d ~]# hostname
container
主機中
[root@i-k9pwet2d ~]# hostname
i-k9pwet2d
5.IPC Namespace
IPC 命名空間隔離某些 IPC 資源，即 System V IPC 對象（參見sysvipc(7)）和（自 Linux 2.6.30 起）POSIX 消息隊列（請參閱mq_overview(7)）。容器通過IPC Namespace、PID Namespace實現同一 IPC Namespace 內的進程彼此可以通訊，不同 IPC Namespace 的進程卻不能通訊。
我們使用linux中ipc相關命令來測試
ipcs -q 命令：用來查看系統間通訊隊列列表。
ipcmk -Q 命令：用來創建系統間通訊隊列。
我們先創建一個IPC Namespace
[root@i-k9pwet2d ~]# unshare --fork --ipc /bin/bash
創建一個通訊隊列後查詢一下
[root@i-k9pwet2d ~]# ipcmk -Q
Message queue id: 0
[root@i-k9pwet2d ~]# ipcs -q
------ Message Queues --------
key msqid owner perms used-bytes messages
0x1de4aef6 0 root 644 0 0
在主機上查詢，可以看到通訊已經被隔離了
[root@i-k9pwet2d ~]# ipcs -q
------ Message Queues --------
key msqid owner perms used-bytes messages
6.Net Namespace
Net Namespace 可用於隔離網路設備、IP 地址和埠等資訊。Net Namespace 可以讓每個進程擁有自己獨立的 IP 地址，埠和網卡資訊。
我們繼續創建一個Net Namespace
[root@i-k9pwet2d ~]# unshare --net --fork /bin/bash
查看網路和埠資訊
[root@i-k9pwet2d ~]# ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
[root@i-k9pwet2d ~]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
上面看到了一個迴環介面lo，狀態處於DOWN，我們將它啟動，這樣我們的Namespace有了自己的網路地址。
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
主機中
[root@i-k9pwet2d ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 52:54:96:e1:36:04 brd ff:ff:ff:ff:ff:ff
inet 10.150.25.9/24 brd 10.150.25.255 scope global noprefixroute dynamic eth0
valid_lft 80720sec preferred_lft 80720sec
inet6 fe80::5054:96ff:fee1:3604/64 scope link
valid_lft forever preferred_lft forever
[root@i-k9pwet2d ~]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 757/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1112/master
...
7.Cgroup Namespace
Cgroup是對進程的cgroup視圖虛擬化。 每個 cgroup 命名空間都有自己的一組 cgroup 根目錄。Linux 4.6開始支援。
cgroup 命名空間提供的虛擬化有多種用途：
- 防止資訊泄漏。否則容器外的cgroup 目錄路徑對容器中的進程可見。
- 簡化了容器遷移等任務。
- 允許更好地限制容器化進程。可以掛載容器的 cgroup 文件系統，這樣容器無需訪問主機 cgroup 目錄。
8.Time Namespace
虛擬化兩個系統時鐘，用於隔離時間。 linux 5.7內核開始支援 參考地址：TIME_NAMESPACES(7)
三、關於Cgroup
從上面我們了解到當我們要運行一個容器時，docker等應用會為該容器創建一組 namespace，對作業系統而言可以理解為一組進程。這下我們完成了「權利」的集中，但是「權利越大，責任也大」，我們不能放任這組「大權「不管，所以又有了Cgroup（Linux Control Group）這個東西。
Cgroup最主要的作用，就是限制一個進程組能夠使用的資源上限，包括 CPU、記憶體、磁碟、網路頻寬等等。
cgroups 框架提供了以下內容：
- 資源限制： 可以為我們的進程組配置記憶體限制或cpu個數限制又或者僅限於某個特定外圍設備。
- 優先順序： 一個或多個組可以配置為優先佔用 CPU 或磁碟 I/O 吞吐量。
- 資源記錄： 監視和測量組的資源使用情況。
- 控制： 可以凍結或停止和重新啟動進程組。
一個 cgroup 可以由一個或多個進程組成，這些進程都綁定到同一組限制。這些組也可以是分層的，即子組可以繼承父組管理的限制。
Linux 內核為 cgroup 技術提供了對一系列控制器或子系統的訪問。控制器負責將特定類型的系統資源分配給一組一個或多個進程。例如，memory控制器限制記憶體使用，而cpuacct控制器監控 CPU 使用。
我們通過Mount查看系統中cgroup的子系統
[root@i-k9pwet2d ~]# mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
可以看到cgroup已通過文件系統方式掛載到/sys/fs/cgroup/
[root@i-k9pwet2d ~]# ls -l /sys/fs/cgroup/
total 0
drwxr-xr-x 2 root root 0 Jul 20 12:23 blkio
lrwxrwxrwx 1 root root 11 Jul 20 12:23 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 Jul 20 12:23 cpuacct -> cpu,cpuacct
drwxr-xr-x 2 root root 0 Jul 20 12:23 cpu,cpuacct
drwxr-xr-x 2 root root 0 Jul 20 12:23 cpuset
drwxr-xr-x 4 root root 0 Jul 20 12:23 devices
drwxr-xr-x 2 root root 0 Jul 20 12:23 freezer
drwxr-xr-x 2 root root 0 Jul 20 12:23 hugetlb
drwxr-xr-x 2 root root 0 Jul 20 12:23 memory
lrwxrwxrwx 1 root root 16 Jul 20 12:23 net_cls -> net_cls,net_prio
drwxr-xr-x 2 root root 0 Jul 20 12:23 net_cls,net_prio
lrwxrwxrwx 1 root root 16 Jul 20 12:23 net_prio -> net_cls,net_prio
drwxr-xr-x 2 root root 0 Jul 20 12:23 perf_event
drwxr-xr-x 2 root root 0 Jul 20 12:23 pids
drwxr-xr-x 4 root root 0 Jul 20 12:23 systemd
接下來我們通過一個實例看看cgroup是如何限制CPU使用的
我們啟動一個循環腳本，這個循環腳本將佔用近100%的CPU，我們通過cgroup限制到50%
$ cat loop.sh
#!/bash/sh
while [ 1 ]; do
:
done
將我們的腳本放到後台，獲取它的PID為21497
nohup bash loop.sh &
我們需要創建一個cgroup控制組loop
[root@i-k9pwet2d ~]# mkdir /sys/fs/cgroup/cpu/loop
loop組是CPU的子組，上面提到子組可以繼承父組管理的限制所以loop將繼承對系統整個cpu的訪問許可權
[root@i-k9pwet2d shell]# ls -l /sys/fs/cgroup/cpu/loop
total 0
-rw-r--r-- 1 root root 0 Jul 20 17:15 cgroup.clone_children
--w--w--w- 1 root root 0 Jul 20 17:15 cgroup.event_control
-rw-r--r-- 1 root root 0 Jul 20 17:15 cgroup.procs
-r--r--r-- 1 root root 0 Jul 20 17:15 cpuacct.stat
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpuacct.usage
-r--r--r-- 1 root root 0 Jul 20 17:15 cpuacct.usage_percpu
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpu.cfs_period_us
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpu.cfs_quota_us
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpu.rt_period_us
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpu.rt_runtime_us
-rw-r--r-- 1 root root 0 Jul 20 17:15 cpu.shares
-r--r--r-- 1 root root 0 Jul 20 17:15 cpu.stat
-rw-r--r-- 1 root root 0 Jul 20 17:15 notify_on_release
-rw-r--r-- 1 root root 0 Jul 20 17:15 tasks
查看繼承後的loop組cpu限制，計算周期為100000us，取樣時間無限制（-1）
[root@i-k9pwet2d shell]# cat /sys/fs/cgroup/cpu/loop/cpu.cfs_period_us
100000
[root@i-k9pwet2d shell]# cat /sys/fs/cgroup/cpu/loop/cpu.cfs_quota_us
-1
為了限制進程的的cpu使用率為50%，我們需要更新cpu.cfs_quota_us的值為50000
echo 50000 >/sys/fs/cgroup/cpu/loop/cpu.cfs_quota_us
將腳本PID更新到loop控制組下的tasks
[root@i-k9pwet2d shell]# echo 21497 >/sys/fs/cgroup/cpu/loop/tasks
此時我們的腳本CPU使用率已被限制到50%
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
21497 root 20 0 113284 1176 996 R 50.0 0.1 12:17.48 bash
在docker啟動容器時做的cpu限制參數--cpu-period、--cpu-quota實際上就是調整對應容器控制組的cpu配額。
參考：
小作文有不足的地方歡迎指出。
歡迎收藏、點贊、提問。關注頂級飲水機管理員，除了管燒熱水，有時還做點別的。
