.Net Core服務診斷排查

• 2021 年 12 月 19 日
• 筆記
• 問題記錄

前言：

　近期在項目中出現了幾次服務內存資源佔用較高的情況，特回顧梳理下排查過程以及對相應問題的排查方法總結。

一、Dump抓取

　抓取dump的方式有多種，下面介紹幾種常用的：

　　1. 任務管理器中找到程序進程，右鍵菜單：創建轉存儲文件

　　　注意：需要以程序運行的位數運行任務管理器抓取Dump

　　2. DotNet 全局工具：dotnet-dump；工具可適用於Windows、Linux、macOS平台

　　　a) 安裝全局dotnet-dump工具：

dotnet tool install --global dotnet-dump

　　　b) 使用該工具抓取dump:

dotnet-dump collect [-h|--help] [-p|--process-id] [-n|--name] [--type] [-o|--output] [--diag]

• • -h|–help：顯示命令行幫助。
  • -p|–process-id <PID>：指定從中收集轉儲的進程的 ID 號。
  • -n|–name <name>：指定從中收集轉儲的進程的名稱。
  • –type <Full|Heap|Mini>：指定轉儲類型，它確定從進程收集的信息的類型。 有三種類型：Full – 最大的轉儲，包含所有內存（包括模塊映像）。Heap – 大型且相對全面的轉儲，其中包含模塊列表、線程列表、所有堆棧、異常信息、句柄信息和除映射圖像以外的所有內存。Mini – 小型轉儲，其中包含模塊列表、線程列表、異常信息和所有堆棧。如果未指定，則 Full 為默認類型。
  • -o|–output <output_dump_path>：應在其中寫入收集的轉儲的完整路徑和文件名。如果未指定：在 Windows 上默認為 .\dump_YYYYMMDD_HHMMSS.dmp ；在 Linux 上默認為 ./core_YYYYMMDD_HHMMSS ；YYYYMMDD 為年/月/日，HHMMSS 為小時/分鐘/秒。
  • –diag：啟用轉儲收集診斷日誌記錄。

　　3、ProcDump抓取Dump工具：自動抓取

　　　　命令語法：

procdump.exe [-mm] [-ma] [-mp] [-mc Mask] [-md Callback_DLL] [-mk]
             [-n Count]
             [-s Seconds]
             [-c|-cl CPU_Usage [-u]]
             [-m|-ml Commit_Usage]
             [-p|-pl Counter_Threshold]
             [-h]
             [-e [1 [-g] [-b]]]
             [-l]
             [-t]
             [-f  Include_Filter, ...]
             [-fx Exclude_Filter, ...]
             [-o]
             [-r [1..5] [-a]]
             [-at Timeout]
             [-wer]
             [-64]
             {
                 {{[-w] Process_Name | Service_Name | PID} [Dump_File | Dump_Folder]}
             |
                 {-x Dump_Folder Image_File [Argument, ...]}
             }

　　　參數說明：　　　　

　　　示例：

　　　　當進程在 5 秒鐘內 CPU 使用率超過 50% 時，最多寫入 2 個名為”w3wp”的進程的微型轉儲：

procdump -ma -s 5 -n 2 -c 50 w3wp

二、Dump分析

 　根據前面幾方式得到的Dump文件，下一步就是對Dump進行分析確認問題原因：

　1、Windbug Preview 分析：

　　Windbg Preview 是windows平台上的一款相當強大的調試工具，可以從msdn網站下載得到，最新版本包含在windows sdk中，默認會被安裝在C:\Program Files\Debugging Tools for Windows 目錄中，可以直接把這個目錄打包複製到其它機器上使用。

　　Windbug常用命令：

• • !analyze -v    自動分析dump
  • kv    查看棧回溯
  • .ecxr    顯示當前異常上下文
  • .cxr    切換異常幀上下文
  • .exr    顯示異常信息
  • .frame    設置當前棧幀
  • dv    顯示當前棧幀局部變量
  • dd    顯示內存中的數據
  • r    查看寄存器
  • lmvm    查看模塊詳細信息
  • r    可以顯示系統崩潰時的寄存器，和最後的命令狀態
  • dd    顯示當前內存地址，dd 參數：顯示參數處的內存
  • u    可以顯示反彙編的指令
  • kb    顯示call stack 內容

　2、VS分析Dump：

　　a) 使用VS打開dump文件：

　可以看到該dump的基本信息，接下來設置符號文件：

b) 分析Dump中內存情況：調試託管內存

 　　　可以看到當前託管資源中內存佔用情況，如果有多個dump還可以對比dump中內存增長變化

　　　查看對象內容：

c) 查看當前運行的進程列表：（設置了符號文件後可以查看當前堆棧信息，以及跳轉到代碼邏輯）

　3、dotnet-dump分析：

　　分析命令：

dotnet-dump analyze <dump_path> [-h|--help] [-c|--command]

　　SOS命令支持：

 　　例如：

dotnet-dump analyze "w3wp (2).DMP"

三、案例：

　　問題現象：xxx服務請求響應耗時較長，導致業務無法正常開展

　　排查過程：

　　　1、查看內存情況，Oracle連接數量較大

　　　2、查看線程中都為Oracle連接等待：

 　　　3、最終確認請求被卡到了Oracle處理

四、總結

　　1、在排查服務相關問題時，分析dump方式是最直接的方式；而vs方式分析dump是最直接、方便、簡單的方式。

　　2、通過windbug分析dump是最完整的方式

參考：

　　windbg命令