如何在 Docker 環境下自動給 .NET 程序生成 Dump

前言

之前「一線碼農」大佬有寫文章介紹了如何在 windows 下自動 dump,正好手裡有個在 docker 環境下 dump 的需求,所以在參考大佬文章的基礎上,有了本篇。

工具

dotnet-dump (//docs.microsoft.com/en-us/dotnet/core/diagnostics/dotnet-dump)
ProcDump for linux (//github.com/Sysinternals/ProcDump-for-Linux)

dotnet-dump

dotnet-dump是微軟官方推出的一個.NET全局工具,安裝和使用都非常簡單。
安裝:

dotnet tool install --global dotnet-dump

使用:

dotnet-dump collect --process-id 1902 # pid

但是它不能夠自動dump(也可能是我不知道),所以本文主要討論下面這個工具

ProcDump for linux

本工具是 ProcDump 的社區 linux 移植版,不過主要開發人員也是微軟的員工。
它可以實現根據 CPU 佔用 、內存佔用、線程數等情況進行自動 dump,我們以此來應對程序出現異常時需要dump文件進行分析的場景。

安裝
在 Dockerfile中添加以下命令:
注意我們要在運行時的鏡像中添加,並且最好是自行構建一個基礎鏡像,而不是每次都進行安裝。

# final stage/image
FROM mcr.microsoft.com/dotnet/aspnet:5.0

# 安裝所需依賴
RUN apt-get update \
    && apt-get install -y --no-install-recommends \
        wget \
        gdb \
        lldb

# 安裝 procdump
RUN wget //packages.microsoft.com/repos/microsoft-debian-buster-prod/pool/main/p/procdump/procdump_1.1.1-220_amd64.deb -O procdump.deb \
    && dpkg -i procdump.deb \
    && rm procdump.deb

本文基於 aspnet:5.0 鏡像,即 debian 10,如果基於其他鏡像,可去下面目錄中尋找對應的包
//packages.microsoft.com/repos/
也可參考作者提供的安裝說明

運行
因為 docker 容器並不能很方便的在啟動時同時執行多個進程,所以我們需要一個sh文件以便在啟動時同時執行dotnet和procdump。
因為我個人不喜歡在 Dockerfile 之外還要依賴其他文件,所以我直接在 Dockerfile 里進行了sh文件的創建

RUN echo "#!/bin/bash \n\
procdump -M 200 -w dotnet & \n\
dotnet \$1 \n\
" > ./start.sh
RUN chmod +x ./start.sh
ENTRYPOINT ["./start.sh", "<YourApp>.dll"]

如果有需要的話,也可以自行創建一個start.sh,內容為

#!/bin/bash
procdump -M 200 -w dotnet &
dotnet $1

Dockerfile 改為

COPY start.sh ./start.sh
RUN chmod +x ./start.sh
ENTRYPOINT ["./start.sh", "<YourApp>.dll"]

這樣就可以了,在docker run的時候會同時啟動dotnet和procdump,並且當內存大於200M的時候會自動dump。
還有一點要注意,docker run的時候需要添加–privileged 以提高權限。例如docker run –privileged -it xx

其中 procdump 的各個參數為

Usage: procdump [OPTIONS...] TARGET
   OPTIONS
      -h          Prints this help screen
      -C          當CPU超過或等於指定值(0到100 * nCPU)時,觸發核心轉儲生成。
      -c          當CPU小於指定值(0到100 * nCPU)時觸發核心轉儲生成。
      -M          當內存提交超過或等於指定值(MB)時,觸發核心轉儲生成
      -m          當內存提交小於指定值(MB)時,觸發核心轉儲生成。
      -T          當線程數超過或等於指定值時觸發。
      -F          當文件描述符計數超過或等於指定值時觸發。
      -I          Polling frequency in milliseconds (default is 1000)
      -n          Number of core dumps to write before exiting (default is 1)
      -s          Consecutive seconds before dump is written (default is 10)
      -d          Writes diagnostic logs to syslog
    TARGET 以下二選一:
      -p          進程的 pid
      -w          進程的名字

舉例來說,以下命令表示當 CPU 使用率為>= 65%或內存為>= 100 MB 時創建一個 dump 文件

procdump -C 65 -M 100 -p 1234

其他

dump 文件的持久化
大家都知道 docker 容器消失的話,那麼其中的 dump 文件也會消失。
所以需要輸出 dump 文件到一個指定的、進行過持久化掛載的卷中,不過可惜的是,當前procdump for linux還沒有一個輸出參數來控制輸出目錄,只會在應用程序的同級目錄生成,所以現在需要手動移動一下。
我看已經有人提了 PR,未來會增加一個 -o 參數以控制輸出。

參考

//www.cnblogs.com/huangxincheng/p/14661031.html
//docs.docker.com/config/containers/multi-service_container/
//github.com/msbrz/procdump-docker