java應用診斷和在線debug利器bistoury介紹與在K8S環境使用


Bistoury介紹

Bistoury 是去哪兒網開源的一個對應用透明,無侵入的java應用診斷工具,用於提升開發人員的診斷效率和能力,可以讓開發人員無需登錄機器或修改系統,就可以從日誌、內存、線程、類信息、調試、機器和系統屬性等各個方面對應用進行診斷,提升開發人員診斷問題的效率和能力。

Bistoury 集成了Alibaba開源的arthas和唯品會開源的vjtools,因此arthas和vjtools相關功能都可以在Bistoury中使用。
Arthas和vjtools通過命令行或類似的方式使用,Bistoury在保留命令行界面的基礎上,還對很多命令提供了圖形化界面,方面用戶使用。

Bistoury 英文解釋是外科手術刀,含義也就不言而喻了。

Screenshots

通過命令行界面查看日誌,使用arthas和vjtools的各項功能
console

在線debug,在線應用調試神器
debug

線程級cpu監控,幫助你掌握線程級cpu使用率
jstack_dump

在web界面查看JVM運行信息,以及各種其它信息
jvm

動態給方法添加監控
monitor

線程dump
thread_dump

Bistoury架構分析

Bistoury核心組件包含agent,proxy,ui:

  • agent : 與需要診斷的應用部署到一起,負責具體的診斷命令執行,通過域名連接proxy
  • proxy:agent的代理,agent啟動時會通過ws和proxy連接註冊,proxy可以部署多個,推薦使用域名負載
  • ui:ui提供圖形化和命令行界面,接收從用戶傳來的命令,傳遞命令給proxy,接收從proxy傳來的結果並展示給用戶。

一次命令執行的數據流向為 ui -> proxy -> agent -> proxy -> ui

具體分析一下:

  • proxy 先啟動,將自己地址註冊到zk
  • agent通過域名訪問proxy,隨機分配到一個proxy,在proxy註冊自己
  • UI 訪問一個具體的應用時,通過zk拿到所有的proxy,然後依次檢查app對應的agent是否在該proxy,如果在,web網頁連接這個proxy
  • web上輸入一個命令:web->proxy->agent->proxy->ui

具體參見 https://github.com/qunarcorp/bistoury/blob/master/docs/cn/design/design.md

bistoury原理分析: https://www.jianshu.com/p/f7202e490156

總結下就是使用類似skywalking那樣的agent技術,來監測和協助運行在JVM上的程序。

Bistoury快速開始

官方有一個快速開始文檔: https://github.com/qunarcorp/bistoury/blob/master/docs/cn/quick_start.md

可以下載release包快速啟動,就可以體驗了。

首先我們將快速啟動包 bistoury-quick-start.tar.gz 拷貝到想要安裝的位置。

然後解壓啟動包:

tar -zxvf bistoury-quick-start.tar.gz  cd bistoury  

最後是啟動 Bistoury,因為 Bistoury 會用到 jstack 等操作,為了保證所有功能可用,需要使用和待診斷 JAVA 應用相同的用戶啟動。

假設應用進程 id 為 1024

  • 如果應用以本人用戶啟動,可以直接運行
./quick_start.sh -p 1024 start  
  • 如果應用以其它帳號啟動,比如 tomcat,需要指定一下用戶然後運行
sudo -u tomcat ./quick_start.sh -p 1024 start  
  • 停止運行
./quick_start.sh stop  

Bistoury 在docker運行

官方的git倉庫里,有一個docker分支,翻閱後找到相關文檔。

官方的快速啟動命令:

#!/bin/bash  #創建網絡  echo "start create network"  docker network create --subnet=172.19.0.0/16 bistoury  #mysql 鏡像  echo "start run mysql image"  docker run --name mysql -p 3307:3306 -e MYSQL_ROOT_PASSWORD=root -d -i --net bistoury --ip 172.19.0.7  registry.cn-hangzhou.aliyuncs.com/bistoury/bistoury-db  #zk 鏡像  echo "start run zk image"  docker run -d -p 2181:2181 -it --net bistoury --ip 172.19.0.2 registry.cn-hangzhou.aliyuncs.com/bistoury/zk:latest  sleep 30  #proxy 鏡像  echo "start run proxy module"  docker run -d -p 9880:9880 -p 9881:9881 -p 9090:9090 -i --net bistoury --ip 172.19.0.3 registry.cn-hangzhou.aliyuncs.com/bistoury/bistoury-proxy --real-ip $1 --zk-address 172.19.0.2:2181 --proxy-jdbc-url jdbc:mysql://172.19.0.7:3306/bistoury  #ui 鏡像  echo "start run ui module"  docker run -p 9091:9091  -it -d --net bistoury --ip 172.19.0.4 registry.cn-hangzhou.aliyuncs.com/bistoury/bistoury-ui --zk-address 172.19.0.2:2181 --ui-jdbc-url jdbc:mysql://172.19.0.7:3306/bistoury  #boot 鏡像  echo "start run demo application"  docker  run -it -d  -p 8686:8686 -i --net bistoury --ip 172.19.0.5 registry.cn-hangzhou.aliyuncs.com/bistoury/bistoury-demo --proxy-host $1:9090  docker  run -it -d  -p 8687:8686 -i --net bistoury --ip 172.19.0.6 registry.cn-hangzhou.aliyuncs.com/bistoury/bistoury-demo --proxy-host $1:9090    

上面的命令不能直接運行,$1是需要替換成當前服務器IP,然後再運行就OK了。

Bistoury 在生產環境運行

官方推薦部署方式:

  • ui 獨立部署,推薦部署在多台機器,並提供獨立的域名

  • proxy 獨立部署,推薦部署在多台機器,並提供獨立的域名

  • agent 需要和應用部署在同一台機器上。推薦在測試環境全環境自動部署,線上環境提供單機一鍵部署,以及應用下所有機器一鍵部署

  • 獨立的應用中心,管理所有功能內部應用和機器信息,這是一個和 Bistoury 相獨立的系統,Bistoury 從中拿到不斷更新的應用和機器信息

這裡有個關鍵的點,應用中心,Bistoury內置了一個簡單的應用中心,Bistoury里代碼對應bistoury-application,ui和proxy都通過這個工程獲取應用信息,官方默認實現了一個mysql版本的:

application

使用mysql的缺點是,你需要ui界面裏手動維護應用以及應用的服務器,做個demo還OK,生產環境肯定不行。更優雅的方式是,用戶系統應該在啟動時自動註冊到註冊中心上,彙報自己的應用、機器信息(ip、域名等)、端口等信息。當然這個對大部分微服務架構來說,註冊中心是標配的,因此實現一套bistoury-application-api接口即可。

bistoury-application-k8s(Bistoury on K8S)

我們項目組所有的應用都部署在K8S環境,因此要實現一個bistoury-application-k8s

拷貝bistoury-application-mysql項目,建立bistoury-application-k8s

簡單對應下:

  • 一個應用對應一個deployment,對應一個application
  • 一個deployment里有n個pod,對應applicationServer

所以,我們只需要調用調用K8S API 獲取deployment和pod即可。

首先引入相關jar包:

   <dependency>              <groupId>io.kubernetes</groupId>              <artifactId>client-java</artifactId>              <version>8.0.0</version>              <scope>compile</scope>          </dependency>  

初始化ApiClient

			ApiClient defaultClient = Configuration.getDefaultApiClient();              defaultClient.setBasePath(k8sApiServer);              ApiKeyAuth BearerToken = (ApiKeyAuth) defaultClient.getAuthentication("BearerToken");              BearerToken.setApiKey(k8sToken);              BearerToken.setApiKeyPrefix("Bearer");              defaultClient.setVerifyingSsl(false);  

獲取deployment

區分下是獲取所有namespace,還是獲取指定的namespace

   private List<V1Deployment> getDeployments() throws ApiException {          AppsV1Api appsV1Api = new AppsV1Api(k8SConfiguration.getApiClient());          return k8SConfiguration.isAllNamespace()                  ? appsV1Api.listDeploymentForAllNamespaces(false, null, null, null, 0, null, null, 120, false).getItems()                  : getNamespacesDeployments(k8SConfiguration.getAllowedNamespace());      }        List<V1Deployment> getNamespacesDeployments(List<String> namespaces) {          AppsV1Api appsV1Api = new AppsV1Api(k8SConfiguration.getApiClient());          List<V1Deployment> deploymentList = new ArrayList<>();          for (String nameSpace : namespaces) {              try {                  deploymentList.addAll(appsV1Api.listNamespacedDeployment(nameSpace, null, null, null, null, null, 0, null, 120, false).getItems());              } catch (ApiException e) {                  logger.error("get " + nameSpace + "'s deployment error", e);              }          }          return deploymentList;      }  

轉換為application:

    private List<Application> getApplications(List<V1Deployment> applist) {          return applist.stream().map(this::getApplication).collect(Collectors.toList());      }        private Application getApplication(V1Deployment deployment) {          Application application = new Application();          application.setCreateTime(deployment.getMetadata().getCreationTimestamp().toDate());          application.setCreator(deployment.getMetadata().getName());          application.setGroupCode(deployment.getMetadata().getNamespace());          application.setName(deployment.getMetadata().getName());          application.setStatus(1);          application.setCode(getAppCode(deployment.getMetadata().getNamespace(), deployment.getMetadata().getName()));          return application;      }  

獲取pod

獲取pod相對麻煩點,需要先獲取到V1Deployment,拿到部署的lableSelector,然後根據lableSelector選擇pod:

 public List<AppServer> getAppServerByAppCode(final String appCode) {          Preconditions.checkArgument(!Strings.isNullOrEmpty(appCode), "app code cannot be null or empty");            try {              V1Deployment deployment = getDeployMent(appCode);              String nameSpace = appCode.split(APPCODE_SPLITTER)[0];              Map<String, String> labelMap = Objects.requireNonNull(deployment.getSpec()).getSelector().getMatchLabels();              StringBuilder lableSelector = new StringBuilder();              labelMap.entrySet().stream().forEach(e -> {                  if (lableSelector.length() > 0) {                      lableSelector.append(",");                  }                  lableSelector.append(e.getKey()).append("=").append(e.getValue());              });                CoreV1Api coreV1Api = new CoreV1Api(k8SConfiguration.getApiClient());              V1PodList podList = coreV1Api.listNamespacedPod(nameSpace, null, false, null,                      null, lableSelector.toString(), 200, null, 600, false);                return podList.getItems().stream().map(pod -> {                  AppServer server = new AppServer();                  server.setAppCode(appCode);                  server.setHost(pod.getMetadata().getName());                  server.setIp(pod.getStatus().getPodIP());                  server.setLogDir(k8SConfiguration.getAppLogPath());                  server.setAutoJMapHistoEnable(true);                  server.setAutoJStackEnable(true);                  server.setPort(8080);                  return server;              }).collect(Collectors.toList());            } catch (ApiException e) {              logger.error("get deployment's pod  error", e);          }            return null;        }  

最後,修改ui和proxy工程,將原來的mysql替換為k8s:

修改pom

應用引入bistoury agent

這塊相對比較容易:

在需要調試的應用的Dockerfile里增加:

COPY  --from=hub.xfyun.cn/abkdev/bistoury-agent:2.0.11  /home/q/bistoury  /opt/bistoury  

然後修改應用的啟動腳本,在最前面增加:

BISTOURY_APP_LIB_CLASS="org.springframework.web.servlet.DispatcherServlet"    # default proxy  PROXY="bistoury-bistoury-proxy.incubation:9090"  AGENT_JAVA_HOME="/usr/local/openjdk-8/"    # env  if [[ -n $PROXY_HOST ]]; then      PROXY=$PROXY_HOST  fi    TEMP=`getopt -o : --long proxy-host:,app-class:,agent-java-home: -- "$@"`    eval set -- "$TEMP"    while true; do    case "$1" in      --proxy-host )        PROXY="$2"; shift 2 ;;      --app-class )        BISTOURY_APP_LIB_CLASS="$2"; shift 2 ;;      --agent-java-home )        AGENT_JAVA_HOME="$2"; shift 2 ;;      * ) break ;;    esac  done      echo "proxy host: "$PROXY_HOST  echo "app class: "$BISTOURY_APP_LIB_CLASS  echo "agent java home: "$AGENT_JAVA_HOME    

在最後面增加:

APP_PID=`$AGENT_JAVA_HOME/bin/jps -l|awk '{if($2!="sun.tools.jps.Jps"){print $1 ;{exit}} }'`    echo "app pid: "$APP_PID    /opt/bistoury/agent/bin/bistoury-agent.sh -j $AGENT_JAVA_HOME -p $APP_PID -c $BISTOURY_APP_LIB_CLASS -s $PROXY -f start  

集成測試

部署一個測試應用 agent-debug-demo,部署到jx namespace:

 agent-debug-demo

{    "kind": "Deployment",    "apiVersion": "extensions/v1beta1",    "metadata": {      "name": "agent-debug-demo",      "namespace": "jx",      "annotations": {        "deployment.kubernetes.io/revision": "2"      }    },    "spec": {      "replicas": 1,      "selector": {        "matchLabels": {          "app": "agent-debug-demo",          "draft": "draft-app"        }      },      "template": {        "metadata": {          "creationTimestamp": null,          "labels": {            "app": "agent-debug-demo",            "draft": "draft-app"          }        },        "spec": {          "containers": [            {              "name": "springboot-rest-demo",              "image": "hub.xxx.cn/abkdev/springboot-rest-demo:dev-113",              "ports": [                {                  "containerPort": 8080,                  "protocol": "TCP"                }              ],              "env": [                {                  "name": "SPRING_PROFILES_ACTIVE",                  "value": "dev"                },                {                  "name": "PROXY_HOST",                  "value": "$PROXY_HOST:9090"                }              ],              "resources": {},              "terminationMessagePath": "/dev/termination-log",              "terminationMessagePolicy": "File",              "imagePullPolicy": "IfNotPresent"            }          ],          "restartPolicy": "Always",          "terminationGracePeriodSeconds": 10,          "dnsPolicy": "ClusterFirst",          "securityContext": {},          "schedulerName": "default-scheduler"        }      },      "strategy": {        "type": "RollingUpdate",        "rollingUpdate": {          "maxUnavailable": 1,          "maxSurge": 1        }      },      "revisionHistoryLimit": 2147483647,      "progressDeadlineSeconds": 2147483647    },    "status": {      "observedGeneration": 2,      "replicas": 1,      "updatedReplicas": 1,      "unavailableReplicas": 1,      "conditions": [        {          "type": "Available",          "status": "True",          "lastUpdateTime": "2020-04-09T01:32:42Z",          "lastTransitionTime": "2020-04-09T01:32:42Z",          "reason": "MinimumReplicasAvailable",          "message": "Deployment has minimum availability."        }      ]    }  }  

部署後:

K8S Dashboard

打開ui,查看:

應用名稱顯示為: namespace名稱-部署名稱

bistoury

ThreadDump

在線調試:

先選擇應用:

選擇應用

點擊Debug,然後選擇需要調試的類,

測試工程源代碼為:

@SpringBootApplication  @Controller  public class RestPrometheusApplication {    	@Autowired  	private MeterRegistry registry;    	@Autowired  	private Environment env;    	@GetMapping(path = "/", produces = "application/json")  	@ResponseBody  	public Map<String, Object> landingPage() {  		Counter.builder("mymetric").tag("foo", "bar").register(registry).increment();  		String profile = "default";  		if(env.getActiveProfiles().length > 0){  			profile = env.getActiveProfiles()[0];  		}    		return singletonMap("hello", ""+ profile);  	}    	public static void main(String[] args) {  		SpringApplication.run(RestPrometheusApplication.class, args);  	}    }  

因此,我們輸入RestPrometheusApplication篩選:

選擇Class

然後點擊調試,可以看到,反編譯出來了源代碼:

在線debug1

在landingPage最後一行加一個端點,然後點擊添加端點,最後訪問該POD對應的服務,該pod對應的ip是170.22.149.37,因此我們訪問:

curl http://170.22.149.37:8080  {"hello":"dev"}  

再回到UI,可以看到成員變量,局部變量和調用堆棧等信息。

在線debug2

well down!


作者:Jadepeng
出處:jqpeng的技術記事本–http://www.cnblogs.com/xiaoqi
您的支持是對博主最大的鼓勵,感謝您的認真閱讀。
本文版權歸作者所有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。