兩個奇技淫巧，將 Docker 鏡像體積減小 99%

• 2020 年 4 月 1 日
• 筆記

對於剛接觸容器的人來說，他們很容易被自己構建的 Docker 鏡像體積嚇到，我只需要一個幾 MB 的可執行文件而已，為何鏡像的體積會達到 1 GB 以上？本文將會介紹幾個奇技淫巧來幫助你精簡鏡像，同時又不犧牲開發人員和運維人員的操作便利性。本系列文章將分為三個部分：

第一部分著重介紹多階段構建（multi-stage builds），因為這是鏡像精簡之路至關重要的一環。在這部分內容中，我會解釋靜態鏈接和動態鏈接的區別，它們對鏡像帶來的影響，以及如何避免那些不好的影響。中間會穿插一部分對 Alpine 鏡像的介紹。

第二部分將會針對不同的語言來選擇適當的精簡策略，其中主要討論 Go，同時也涉及到了 Java，Node，Python，Ruby 和 Rust。這一部分也會詳細介紹 Alpine 鏡像的避坑指南。什麼？你不知道 Alpine 鏡像有哪些坑？我來告訴你。

第三部分將會探討適用於大多數語言和框架的通用精簡策略，例如使用常見的基礎鏡像、提取可執行文件和減小每一層的體積。同時還會介紹一些更加奇特或激進的工具，例如 Bazel，Distroless，DockerSlim 和 UPX，雖然這些工具在某些特定場景下能帶來奇效，但大多情況下會起到反作用。

本文介紹第一部分。

01

萬惡之源

我敢打賭，每一個初次使用自己寫好的程式碼構建 Docker 鏡像的人都會被鏡像的體積嚇到，來看一個例子。

讓我們搬出那個屢試不爽的 hello world C 程式：

/* hello.c */  int main () {    puts("Hello, world!");    return 0;  }  

並通過下面的 Dockerfile 構建鏡像：

FROM gcc  COPY hello.c .  RUN gcc -o hello hello.c  CMD ["./hello"]  

然後你會發現構建成功的鏡像體積遠遠超過了 1 GB。。。因為該鏡像包含了整個 gcc 鏡像的內容。

如果使用 Ubuntu 鏡像，安裝 C 編譯器，最後編譯程式，你會得到一個大概 300 MB 大小的鏡像，比上面的鏡像小多了。但還是不夠小，因為編譯好的可執行文件還不到 20 KB：

$ ls -l hello  -rwxr-xr-x   1 root root 16384 Nov 18 14:36 hello  

類似地，Go 語言版本的 hello world 會得到相同的結果：

package main    import "fmt"    func main () {    fmt.Println("Hello, world!")  }  

使用基礎鏡像 golang 構建的鏡像大小是 800 MB，而編譯後的可執行文件只有 2 MB 大小：

$ ls -l hello  -rwxr-xr-x 1 root root 2008801 Jan 15 16:41 hello  

還是不太理想，有沒有辦法大幅度減少鏡像的體積呢？往下看。

為了更直觀地對比不同鏡像的大小，所有鏡像都使用相同的鏡像名，不同的標籤。例如：hello:gcc，hello:ubuntu，hello:thisweirdtrick 等等，這樣就可以直接使用命令 docker images hello 列出所有鏡像名為 hello 的鏡像，不會被其他鏡像所干擾。

02

多階段構建

要想大幅度減少鏡像的體積，多階段構建是必不可少的。多階段構建的想法很簡單：「我不想在最終的鏡像中包含一堆 C 或 Go 編譯器和整個編譯工具鏈，我只要一個編譯好的可執行文件！」

多階段構建可以由多個 FROM 指令識別，每一個 FROM 語句表示一個新的構建階段，階段名稱可以用 AS 參數指定，例如：

FROM gcc AS mybuildstage  COPY hello.c .  RUN gcc -o hello hello.c  FROM ubuntu  COPY --from=mybuildstage hello .  CMD ["./hello"]  

本例使用基礎鏡像 gcc 來編譯程式 hello.c，然後啟動一個新的構建階段，它以 ubuntu 作為基礎鏡像，將可執行文件 hello 從上一階段拷貝到最終的鏡像中。最終的鏡像大小是 64 MB，比之前的 1.1 GB 減少了 95%：

? → docker images minimage  REPOSITORY          TAG                    ...         SIZE  minimage            hello-c.gcc            ...         1.14GB  minimage            hello-c.gcc.ubuntu     ...         64.2MB  

還能不能繼續優化？當然能。在繼續優化之前，先提醒一下：

在聲明構建階段時，可以不必使用關鍵詞 AS，最終階段拷貝文件時可以直接使用序號表示之前的構建階段（從零開始）。也就是說，下面兩行是等效的：

COPY --from=mybuildstage hello .  COPY --from=0 hello .  

如果 Dockerfile 內容不是很複雜，構建階段也不是很多，可以直接使用序號表示構建階段。一旦 Dockerfile 變複雜了，構建階段增多了，最好還是通過關鍵詞 AS 為每個階段命名，這樣也便於後期維護。

使用經典的基礎鏡像

我強烈建議在構建的第一階段使用經典的基礎鏡像，這裡經典的鏡像指的是 CentOS，Debian，Fedora 和 Ubuntu 之類的鏡像。你可能還聽說過 Alpine 鏡像，不要用它！至少暫時不要用，後面我會告訴你有哪些坑。

COPY --from 使用絕對路徑

從上一個構建階段拷貝文件時，使用的路徑是相對於上一階段的根目錄的。如果你使用 golang 鏡像作為構建階段的基礎鏡像，就會遇到類似的問題。假設使用下面的 Dockerfile 來構建鏡像：

FROM golang  COPY hello.go .  RUN go build hello.go  FROM ubuntu  COPY --from=0 hello .  CMD ["./hello"]  

你會看到這樣的報錯：

COPY failed: stat /var/lib/docker/overlay2/1be...868/merged/hello: no such file or directory  

這是因為 COPY 命令想要拷貝的是 /hello，而 golang 鏡像的 WORKDIR 是 /go，所以可執行文件的真正路徑是 /go/hello。

當然你可以使用絕對路徑來解決這個問題，但如果後面基礎鏡像改變了 WORKDIR 怎麼辦？你還得不斷地修改絕對路徑，所以這個方案還是不太優雅。最好的方法是在第一階段指定 WORKDIR，在第二階段使用絕對路徑拷貝文件，這樣即使基礎鏡像修改了 WORKDIR，也不會影響到鏡像的構建。例如：

FROM golang  WORKDIR /src  COPY hello.go .  RUN go build hello.go  FROM ubuntu  COPY --from=0 /src/hello .  CMD ["./hello"]  

最後的效果還是很驚人的，將鏡像的體積直接從 800 MB 降低到了 66 MB：

? → docker images minimage  REPOSITORY     TAG                              ...    SIZE  minimage       hello-go.golang                  ...    805MB  minimage       hello-go.golang.ubuntu-workdir   ...    66.2MB

03

FROM scratch 的魔力

回到我們的 hello world，C 語言版本的程式大小為 16 kB，Go 語言版本的程式大小為 2 MB，那麼我們到底能不能將鏡像縮減到這麼小？能否構建一個只包含我需要的程式，沒有任何多餘文件的鏡像？

答案是肯定的，你只需要將多階段構建的第二階段的基礎鏡像改為 scratch 就好了。scratch 是一個虛擬鏡像，不能被 pull，也不能運行，因為它表示空、nothing！這就意味著新鏡像的構建是從零開始，不存在其他的鏡像層。例如：

FROM golang  COPY hello.go .  RUN go build hello.go  FROM scratch  COPY --from=0 /go/hello .  CMD ["./hello"]  

這一次構建的鏡像大小正好就是 2 MB，堪稱完美！

然而，但是，使用 scratch 作為基礎鏡像時會帶來很多的不便，且聽我一一道來。

缺少 shell

scratch 鏡像的第一個不便是沒有 shell，這就意味著 CMD/RUN 語句中不能使用字元串，例如：

...  FROM scratch  COPY --from=0 /go/hello .  CMD ./hello  

如果你使用構建好的鏡像創建並運行容器，就會遇到下面的報錯：

docker: Error response from daemon: OCI runtime create failed: container_linux.go:345: starting container process caused "exec: "/bin/sh": stat /bin/sh: no such file or directory": unknown.  

從報錯資訊可以看出，鏡像中並不包含 /bin/sh，所以無法運行程式。這是因為當你在 CMD/RUN 語句中使用字元串作為參數時，這些參數會被放到 /bin/sh 中執行，也就是說，下面這兩條語句是等效的：

CMD ./hello  CMD /bin/sh -c "./hello"  

解決辦法其實也很簡單：**使用 JSON 語法取代字元串語法。**例如，將 CMD ./hello 替換為 CMD ["./hello"]，這樣 Docker 就會直接運行程式，不會把它放到 shell 中運行。

缺少調試工具

scratch 鏡像不包含任何調試工具，ls、ps、ping 這些統統沒有，當然了，shell 也沒有（上文提過了），你無法使用 docker exec 進入容器，也無法查看網路堆棧資訊等等。

如果想查看容器中的文件，可以使用 docker cp；如果想查看或調試網路堆棧，可以使用 docker run --net container:，或者使用 nsenter；為了更好地調試容器，Kubernetes 也引入了一個新概念叫 Ephemeral Containers[1]，但現在還是 Alpha 特性。

雖然有這麼多雜七雜八的方法可以幫助我們調試容器，但它們會將事情變得更加複雜，我們追求的是簡單，越簡單越好。

折中一下可以選擇 busybox 或 alpine 鏡像來替代 scratch，雖然它們多了那麼幾 MB，但從整體來看，這只是犧牲了少量的空間來換取調試的便利性，還是很值得的。

缺少 libc

這是最難解決的問題。使用 scratch 作為基礎鏡像時，Go 語言版本的 hello world 跑得很歡快，C 語言版本就不行了，或者換個更複雜的 Go 程式也是跑不起來的（例如用到了網路相關的工具包），你會遇到類似於下面的錯誤：

standard_init_linux.go:211: exec user process caused "no such file or directory"  

從報錯資訊可以看出缺少文件，但沒有告訴我們到底缺少哪些文件，其實這些文件就是程式運行所必需的動態庫（dynamic library）。

那麼，什麼是動態庫？為什麼需要動態庫？

所謂動態庫、靜態庫，指的是程式編譯的鏈接階段，鏈接成可執行文件的方式。靜態庫指的是在鏈接階段將彙編生成的目標文件.o 與引用到的庫一起鏈接打包到可執行文件中，因此對應的鏈接方式稱為靜態鏈接（static linking）。而動態庫在程式編譯時並不會被連接到目標程式碼中，而是在程式運行是才被載入，因此對應的鏈接方式稱為動態鏈接（dynamic linking）。

90 年代的程式大多使用的是靜態鏈接，因為當時的程式大多數都運行在軟盤或者盒式磁帶上，而且當時根本不存在標準庫。這樣程式在運行時與函數庫再無瓜葛，移植方便。但對於 Linux 這樣的分時系統，會在在同一塊硬碟上並發運行多個程式，這些程式基本上都會用到標準的 C 庫，這時使用動態鏈接的優點就體現出來了。使用動態鏈接時，可執行文件不包含標準庫文件，只包含到這些庫文件的索引。例如，某程式依賴於庫文件 libtrigonometry.so 中的 cos 和 sin 函數，該程式運行時就會根據索引找到並載入 libtrigonometry.so，然後程式就可以調用這個庫文件中的函數。

使用動態鏈接的好處顯而易見：

1. 節省磁碟空間，不同的程式可以共享常見的庫。
2. 節省記憶體，共享的庫只需從磁碟中載入到記憶體一次，然後在不同的程式之間共享。
3. 更便於維護，庫文件更新後，不需要重新編譯使用該庫的所有程式。

嚴格來說，動態庫與共享庫（shared libraries）相結合才能達到節省記憶體的功效。Linux 中動態庫的擴展名是 .so（ shared object），而 Windows 中動態庫的擴展名是 .DLL（Dynamic-link library[2]）。

回到最初的問題，默認情況下，C 程式使用的是動態鏈接，Go 程式也是。上面的 hello world 程式使用了標準庫文件 libc.so.6，所以只有鏡像中包含該文件，程式才能正常運行。使用 scratch 作為基礎鏡像肯定是不行的，使用 busybox 和 alpine 也不行，因為 busybox 不包含標準庫，而 alpine 使用的標準庫是 musl libc，與大家常用的標準庫 glibc 不兼容，後續的文章會詳細解讀，這裡就不贅述了。

那麼該如何解決標準庫的問題呢？有三種方案。

1、使用靜態庫

我們可以讓編譯器使用靜態庫編譯程式，辦法有很多，如果使用 gcc 作為編譯器，只需加上一個參數 -static：

$ gcc -o hello hello.c -static  

編譯完的可執行文件大小為 760 kB，相比於之前的 16kB 是大了好多，這是因為可執行文件中包含了其運行所需要的庫文件。編譯完的程式就可以跑在 scratch 鏡像中了。

如果使用 alpine 鏡像作為基礎鏡像來編譯，得到的可執行文件會更小（< 100kB），下篇文章會詳述。

2、拷貝庫文件到鏡像中

為了找出程式運行需要哪些庫文件，可以使用 ldd 工具：

$ ldd hello  	linux-vdso.so.1 (0x00007ffdf8acb000)  	libc.so.6 => /usr/lib/libc.so.6 (0x00007ff897ef6000)  	/lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007ff8980f7000)  

從輸出結果可知，該程式只需要 libc.so.6 這一個庫文件。linux-vdso.so.1 與一種叫做 VDSO[3] 的機制有關，用來加速某些系統調用，可有可無。ld-linux-x86-64.so.2 表示動態鏈接器本身，包含了所有依賴的庫文件的資訊。

你可以選擇將 ldd 列出的所有庫文件拷貝到鏡像中，但這會很難維護，特別是當程式有大量依賴庫時。對於 hello world 程式來說，拷貝庫文件完全沒有問題，但對於更複雜的程式（例如使用到 DNS 的程式），就會遇到令人費解的問題：glibc（GNU C library）通過一種相當複雜的機制來實現 DNS，這種機制叫 NSS（Name Service Switch, 名稱服務開關）。它需要一個配置文件 /etc/nsswitch.conf 和額外的函數庫，但使用 ldd 時不會顯示這些函數庫，因為這些庫在程式運行後才會載入。如果想讓 DNS 解析正確工作，必須要拷貝這些額外的庫文件（/lib64/libnss_*）。

我個人不建議直接拷貝庫文件，因為它非常難以維護，後期需要不斷地更改，而且還有很多未知的隱患。

3、使用 busybox:glibc 作為基礎鏡像

有一個鏡像可以完美解決所有的這些問題，那就是 busybox:glibc。它只有 5 MB 大小，並且包含了 glibc 和各種調試工具。如果你想選擇一個合適的鏡像來運行使用動態鏈接的程式，busybox:glibc 是最好的選擇。

注意：如果你的程式使用到了除標準庫之外的庫，仍然需要將這些庫文件拷貝到鏡像中。

04

總結

最後來對比一下不同構建方法構建的鏡像大小：

• 原始的構建方法：1.14 GB
• 使用 ubuntu 鏡像的多階段構建：64.2 MB
• 使用 alpine 鏡像和靜態 glibc：6.5 MB
• 使用 alpine 鏡像和動態庫：5.6 MB
• 使用 scratch 鏡像和靜態 glibc：940 kB
• 使用 scratch 鏡像和靜態 musl libc：94 kB

最終我們將鏡像的體積減少了 99.99%。

但我不建議使用 sratch 作為基礎鏡像，因為調試起來非常麻煩，但如果你喜歡，那我也不會攔著你。

下篇文章將會著重介紹 Go 語言的鏡像精簡策略，其中會花很大的篇幅來討論 alpine 鏡像，因為它實在是太酷了，在使用它之前必須得摸清它的底細。

腳註

[1]Ephemeral Containers: https://kubernetes.io/docs/concepts/workloads/pods/ephemeral-containers/

[2]Dynamic-link library: https://en.wikipedia.org/wiki/Dynamic-link_library

[3]VDSO: https://en.wikipedia.org/wiki/VDSO