在k8s中收集jvm異常dump文件到OSS

2021 年 11 月 11 日
筆記
docker, JVM, jvm dump2oss, Kubernetes

現狀

加參數 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=logs/test.dump 可以實現在jvm發生內存錯誤後會生成dump文件方便開發人員分析異常原因。

當運行在k8s中，如果進程發生錯誤導出dump文件後，k8s會重啟dokcer容器，上一次崩潰生成的dump文件就沒有了。如果應用並沒有完全崩潰此時極其不穩定最好也能通知到技術人員來處理。這樣不方便我們排查原因所有寫了一個小工具。大概原理如下

1、 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=logs/test.dump 當發生內存錯誤的時候導出堆文件
2、 -XX:OnOutOfMemoryError=./dumpError.sh 當發生內存溢出的時候，讓JVM調用一個shell腳本這個shell腳本可以做一些資源整理操作比如kill掉當前進程並重啟

依賴上面2點jvm特性就能做到把dump文件收集起來是通知技術人員也好(比如發送訂單、短訊報警等)、然後再把dump文件上傳到OSS 或者其他的文件存儲中。需要值得注意的是-XX:OnOutOfMemoryError=xx.sh 執行的腳本不能傳腳本參數，所以儘可能把參數都封裝在另一個腳本中。

方案實現

基於Go簡單的寫了一個上傳阿里OSS的方法這裡用其他任何語言都可以的，至於用GO的原因很簡單,有第三方庫可以調用、運行的機器上也不用安裝sdk、比較輕量。
大致邏輯如下

jvmdump.go

init獲取程序的輸入參數

func init(){
	fmt.Println("init....")
	flag.StringVar(&env, "env", "test", "test") //用於區分環境 
	flag.StringVar(&ddtoken, "ddtoken", "", "ddtoken") //用於報警用的 釘釘機械人TOKEN
	flag.StringVar(&dumpFile, "dfile", "", "dfile") // dump文件的地址
	flag.StringVar(&pod, "pod", "", "pod") //k8s中的pod  只是記錄一下 方便排查 
}

main函數邏輯


func main() {
	fmt.Println("start invoke dump...")
	flag.Parse() //解析輸入參數
	fmt.Printf("dumpFile %s ,env %s token %s\n",dumpFile,env,ddtoken)
	exist, err := FileExists(dumpFile) //驗證dump文件是否存在 只有存在的時候才去處理收集dump文件邏輯
	if err != nil {
		fmt.Printf("驗證文件是否存在發生錯誤![%v]\n", err)
		return
	}
	if exist {
		////help.aliyun.com/document_detail/88604.html
		var url=uploadOSS(dumpFile) //上傳阿里oss
		fmt.Printf("OSS上傳完成 %s\n", url)
		if enabledd{
		//釘釘群機械人發送工具 //github.com/braumye/grobot 
			notifyDD(url) //通知釘釘群機械人
		}
	}else{
		fmt.Printf("dump文件不存在 %s\n",dumpFile)
	}
}

構建可執行文件


  set GOOS=linux
  go build -ldflags "-w -s"

測試驗證go腳本是否正確

  echo "ffff">/opt/ttt.dump
 ./jvmdump -env test -dfile /opt/ttt.dump

如果能成功上傳就可以集成到jvm上跑了，不能成功上傳的話就需要調一下go了。

另外分享一個-XX:OnOutOfMemoryError=./dumpError.sh 參考。

有這個shell的原因是因為由於jvm中OnOutOfMemoryError目前沒有找到可以傳遞腳本參數的方法。所有不能調用./jvmdump文件故包裝一下，把參數都封裝在dempError.sh中，把所有生成的dump文件後綴命名都設置為.dump，主要是為了方便查找。放在一個獨立的目錄也是可以的。

dumpError.sh

#!/bin/bash

#循環目錄
traverse_dir()
{
    filepath=$1

    for file in `ls -a $filepath`
    do
        if [ -d ${filepath}/$file ]
        then
            if [[ $file != '.' && $file != '..' ]]
            then
                #遞歸
                traverse_dir ${filepath}/$file
            fi
        else
            #調用查找指定後綴文件
            check_suffix ${filepath}/$file
        fi
    done
	#看需要 可以kill掉進程，避免jvm沒有完全崩潰 k8s不會重啟pod的情況 造成應用假死問題。
}

#查找指定後綴的文件 這裡在k8s環境里一般只會有一個dump文件，如果可能存在多個的dump文件文件的情況 可能需要變更一下邏輯
check_suffix()
{
    file=$1

	#如果找到dump就調用go寫的jvmdump腳本 
    if [ "${file##*.}"x = "dump"x ];then
        lib/jvmdump -e test -dfile $file -pod $HOSTNAME -ddtoken xxx
    fi
}
traverse_dir /opt/logs

完整代碼參考

//github.com/peachyy/jvmdump2k8s.git

Tags: docker JVM jvm dump2oss Kubernetes