記一次JAVA進程導致Kubernetes節點CPU飆高的排查與解決
- 2020 年 4 月 10 日
- 筆記
一、發現問題
在一次系統上線後，我們發現某幾個節點在長時間運行後會出現CPU持續飆升的問題，導致的結果就是Kubernetes集群的這個節點會把所在的Pod進行驅逐（調度）；如果調度到同樣問題的節點上，也會出現Pod一直起不來的問題。我們嘗試了殺死Pod後手動調度的辦法（label），當然也可以排除調度節點。但是在一段時間後還會復現，我們通過監控系統也排查了這段時間的流量情況，但應該和CPU持續佔用沒有關聯，這時我們意識到這可能是程式的問題。
二、排查問題
定位Pod
這裡使用kubectl top pods 命令確定CPU佔用最高的pods都是哪些。
kubectl -n app top pods
因為問題已解決，以上圖片只是舉個例子。
排查工具
Arthas
我們這邊使用了阿里的Arthas ，它是Alibaba開源的Java診斷工具。當你遇到以下類似問題而束手無策時，Arthas可以幫助你解決：
這個類從哪個 jar 包載入的？為什麼會報各種類相關的 Exception？
我改的程式碼為什麼沒有執行到？難道是我沒 commit？分支搞錯了？
遇到問題無法在線上 debug，難道只能通過加日誌再重新發布嗎？
線上遇到某個用戶的數據處理有問題，但線上同樣無法 debug，線下無法重現！
是否有一個全局視角來查看系統的運行狀況？
有什麼辦法可以監控到JVM的實時運行狀態？
怎麼快速定位應用的熱點，生成火焰圖？
排查問題
定位到有問題的Pod後,使用kubectl exec進入Pod容器內部：
kubectl -n app exec -it 49a89b2f-73c6-40ac-b6de-c6d0e47ace64-5d489d9c48qwc7t -- /bin/bash 在容器中下載Arthas
wget https://arthas.gitee.io/arthas-boot.jar 由於我們打包鏡像中只有一個服務，所以一個Pod中也只有一個進程； 這裡 1 是指PID。
java -jar arthas-boot.jar 1 
執行進程看板 dashboard：
[arthas@1]$ dashboard 這裡上半區顯示了執行緒內容，我們可以看到哪個執行緒ID的對應情況：
比如從上面得到了執行緒ID，使用如下命令進入執行緒，如ID 12262：
[arthas@1]$ thread -n 12262 列印出執行緒日誌：
[arthas@1]$ thread -n 12262 "com.alibaba.nacos.client.Worker.addr-bj-internal.edas.aliyun.com-7362814c-538b-4c26-aa07-1fd47765a145" Id=20190 cpuUsage=7% TIMED_WAITING on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e (in native) at sun.misc.Unsafe.park(Native Method) - waiting on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078) at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093) at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809) at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:813) 三、解決問題
經過了排查定位到了問題，最後經過社區和阿里雲夥伴的協助，發現了這個是Nacos 2.0.0.RELEASE的一個BUG。我們對Nacos客戶端版本進行了升級，經過測試後，問題解決了。也加深了對Kubernetes集群調試的能力 [加油]。
<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId> <version>2.0.1.RELEASE</version> </dependency> 四、最後
通過社區和阿里雲的幫助，問題成功解決。在工具方面，阿里提供的Arthas，真的是線上環境調試神器！
