搭建jmeter+influxdb+grafana壓測實時監控平台（超詳細，小白適用）

1.前言

 在使用jmeter做性能測試的時候，監控系統性能的時候，無論是使用插件還是報告生成，都沒法實現實時監控。使用JMeter+Influxdb+Grafana可以實現實時監控。

 

本次環境搭建各軟體版本說明：

Grafana v6.2.5

InfluxDB 1.7.0

JMeter 5.2.1

 

2.Influxdb簡介
　InfluxDB是用Go語言編寫的高性能、高可用的分散式時序數據存儲資料庫，無其他依賴，安裝簡單快速。
　　該資料庫現在主要用於存儲涉及大量的時間戳數據，如DevOps監控數據，APP metrics, loT感測器數據和實時分析數據。


InfluxDB特徵：

  • 無結構(無模式)：可以是任意數量的列
  • 可以設置metric的保存時間
  • 支援與時間有關的相關函數(如min、max、sum、count、mean、median等)，方便統計
  • 支援存儲策略:可以用於數據的刪改。(influxDB沒有提供數據的刪除與修改方法)
  • 支援連續查詢:是資料庫中自動定時啟動的一組語句，和存儲策略搭配可以降低InfluxDB的系統佔用量。
  • 原生的HTTP支援，內置HTTP API
  • 支援類似sql語法select * from mysql.user
  • 支援設置數據在集群中的副本數
  • 支援定期取樣數據，寫入另外的measurement，方便分粒度存儲數據。

schemaless: 結構型資料庫類似Mysql需要先定義列，influxdb無需預先定義，無結構的
與傳統資料庫中的名詞比較

 influxDB中的名詞  傳統資料庫的概念
 database  資料庫
 measurement  資料庫中的表
 points  表裡面的一行數據

 

influxdb的points數據說明

    • time：默認存儲數據會有時間，時間無需關心，會幫我們自動插入
    • tags：用來存儲數據標識，比如CPU.idle
    • fileds:用來存儲數據 value=90

 

3.下載

定位到/usr/local目錄下，執行命令：wget //dl.influxdata.com/influxdb/releases/influxdb-1.7.0.x86_64.rpm –no-check-certificate，然後等待下載完成

 

 4.解壓安裝

執行命令：rpm -ivh influxdb-1.7.0.x86_64.rpm

 安裝完之後，生成默認的配置文件 /etc/influxdb/influxdb.conf，可以到/ect目錄下去查看

 

5.修改influxDB配置文件

執行命令：vi /etc/influxdb/influxdb.conf，將最終修改的配置如下：

[[graphite]]
# Determines whether the graphite endpoint is enabled.
enabled = true
database = "jmeter"    # 資料庫名稱
retention-policy = ""
bind-address = ":2003"    # 埠
protocol = "tcp"
consistency-level = "one"

修改以下資訊
[meta]
dir = "/usr/local/influxdb/meta"    #存放最終存儲的數據，文件以.tsm結尾
[data]
dir = "/usr/local/influxdb/data"    #存放資料庫元數據 wal
wal-dir = "/usr/local/influxdb/wal"    #存放預寫日誌文件

修改HTTP埠資訊
[http]
# Determines whether HTTP endpoint is enabled.
enabled = true

# The bind address used by the HTTP service.
bind-address = ":8086"

修改完成後執行:wq保存退出

 

6.在上一步中我們設置了存放數據的目錄為/usr/local/influxdb，這個目錄不會自動生成，因此需要手動創建並授權，執行命令如下：

 我這裡使用的是root用戶，使用其他用戶如果報許可權不足則需要切換到root用戶

 

7.啟動influxDB服務

啟動influxDB服務有兩種方式：

方式一： 直接執行命令： influxd -config /etc/influxdb/influxdb.conf

啟動後顯示如下圖：

 方式二（推薦）：

-bash-4.2# vi /etc/profile

添加變數：export INFLUXDB_CONFIG_PATH=/etc/influxdb/influxdb.conf，然後保存，如下圖：

執行：source /etc/profile，是配置文件生效後，執行：influxd &，啟動

 influxDB的tcp埠是8088，執行：netstat -antp|grep 8088，顯示如下則表示埠啟動成功

 

8.創建資料庫及用戶

執行命令如下：

-bash-4.2$ influx

> show databases

> CREATE DATABASE jmeter

> use jmeter

> create user “admin” with password ‘123456’ with all privileges

此處設置的用戶名和密碼需要記錄下來，後面配置JMeter和Grafana時有用到

 

 註：這裡要注意一下，CREATE DATABASE必須使用大寫

網上有使用小寫創建資料庫，如：create databases “jmeter”，執行後會報錯，報錯資訊如下

ERR: error parsing query: found DATABASES, expected CONTINUOUS, DATABASE, USER, RETENTION, SUBSCRIPTION at line 1, char 8
Warning: It is possible this error is due to not setting a database.
Please set a database with the command “use <database>”.

 

埠說明：
2003埠：Jmeter往資料庫發數據的埠，伺服器端也是該埠接收數據，所以如果使用雲伺服器ECS的話，需要開啟該2003埠
8086埠，Grafana從資料庫取數據的埠

 

9.JMeter配置

新建一個測試計劃，新建一個執行緒組，右鍵測試計劃選擇Add->Listener->Backend Listener，如果使用的是中文則添加後端監聽器的路徑是：右鍵測試計劃選擇添加->監聽器->後端監聽器

 

 

 

 

添加後端監聽器，配置如下圖：

 

 

新建請求，然後執行

 

 

 

 10.在伺服器上查看influxdb是否有接收數據成功：

執行如下命令：

-bash-4.2$ influx
> show databases
> use jmeter
> show measurements

 

 

11. 安裝配置grafana

配置資料庫：

 選擇InfluxDB

 最終配置如下圖，配置好後點擊下面的 Save & Test 按鈕，提示 Data source is working 就表示資料庫連接成功

 

 

 

 

接下來配置監控面板，配置panel有兩種方式：1.手動配置panel  2.在官網下載panel模板 

下面先講第一種方式：

點擊左上角Grafana圖標，進入Home介面，點擊左側「+」號菜單，點擊Dashboard，

 進入New dashboard介面，點擊Add Query（各個版本的顯示不一樣，但是操作流程是一樣的）

進入面板設置介面，如下圖

 

說明：想了解這些查詢具體是什麼意思，可以訪問Jmeter的官網地址去查看 //jmeter.apache.org/usermanual/realtime-results.html

執行緒數/用戶相關指標
test.minAT-Min active threads：最小活躍執行緒數
test.maxAT-Max active threads：最大活躍執行緒數
test.meanAT-Mean active threads：活躍執行緒數
test.startedT-Started threads：啟動執行緒數
test.endedT-Finished threads：結束執行緒數
響應時間指標
.ok.count：取樣器的成功響應數
.h.count：每秒點擊數
.ok.min：取樣器成功最短響應時間
.ok.max：取樣器成功最長響應時間
.ok.avg：取樣器成功平均響應時間
.ok.pct：取樣器成功響應百分比
.ko.count：取樣器失敗響應數
.ko.min：取樣器失敗的響應最短時間
.ko.max：取樣稱失敗最長響應時間
.ko.avg：取樣器失敗平均響應時間
.ko.pct：取樣器失敗響應百分比
.a.count：取樣器響應數（ok.count和ko.count的總和）
.a.min：取樣器最小響應時間（ok.count和ko.count的最小值）
.a.max：取樣器最大響應時間（ok.count和ko.count的最大值）
.a.avg：取樣器平均響應時間（ok.count和ko.count的平均值）
.a.pct：取樣器響應百分比（根據和失敗樣本的總數計算）
Backend Listener的默認百分位設置為「90;95;99」，即百分位數為90％，95％和99％。
Graphite使用點（「.」）去拆分的元素，這可能與十進位百分位值混淆。JMeter轉換任何此類值，用下劃線（「 - 」）替換點（「.」）。例如，「99.9 」變為「99_9 」
默認情況下，JMeter發送在samplerName「all」下累計的所有取樣器的指標。 如果配置了 BackendListenerSamplersList，那麼JMeter還會發送匹配樣本名稱的指標，前提是配置 summaryOnly=true

 

 最終顯示結果如下：

 

 接下來講第二種方式：模板方式

點擊左上角Grafana圖標，點擊Home，然後點擊Find dashboards on Grafana.com，會跳轉到Grafana官網，或者可以直接進入官網：//grafana.com/grafana/dashboards?utm_source=grafana_search

 

 

 

 左側輸入查詢模板的條件，如下圖，這裡選擇比較常用的JMeter Load Test模板

 

 

 下載JMeter-InfluxDB-Writer介面如下圖，這裡下載的是最新版本1.2版本，點擊JMeter-InfluxDB-Writer-plugin-1.2.jar即可下載

 

 下載完成後上傳到JMeter安裝目錄lib/ext目錄下，如下圖：

 

 然後重啟jmeter，選擇rocks.nt.apm.jmeter.JMeterinfluxDBBackendListenerClient,輸入influxDB的host和埠，之前創建Influxdb的用戶名和密碼，然後保存。如果host默認是localhost，直接執行會報錯：Failed to connect to localhost/0:0:0:0:0:0:0:1:8086

 

 

上圖中的用戶名和密碼可以在伺服器中查看，密碼是之前創建用戶的時候自己輸入的，執行命令：

influx

show users

接下來導入Grafana模板，點擊左上角Grafana Logo，點擊Home，然後選擇Import dashboard

打開的介面如下圖，這些需要填寫模板ID，模板ID獲取詳見下一步

 

 在JMeter Load Test模板介面點擊Copy ID to Clipboard，將ID複製好然後粘貼到Grafana導入模板介面，如下圖：

 

輸入模板ID 1152後，點擊空白處，會顯示如下圖資訊，請按照下圖中進行修改：

 

 查看模板可以點擊左上角Grafana Logo，點擊模板名稱，這裡是默認的JMeter Load Test

 默認模板顯示如下圖：

 

 重啟JMeter，執行測試，在Grafana介面的右上角選擇要顯示的時間，最終顯示壓測結果如下圖（右上角刷新時間建議選小一點，效果會比較明顯）： 

 

遇到的問題：

1.創建influxdb資料庫的時候使用create databases “jmeter”，報錯

解決辦法：必須使用大寫來進行創建，命令是：CREATE DATABASE jmeter

 

2.執行Jmeter請求，jmeter日誌報Error writing to Graphite: connect timed out，具體報錯資訊如下：

2020-07-17 16:51:29,810 ERROR o.a.j.v.b.g.TextGraphiteMetricsSender: Error writing to Graphite: connect timed out
java.net.SocketTimeoutException: connect timed out
at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method) ~[?:1.8.0_171]
at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source) ~[?:1.8.0_171]
at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source) ~[?:1.8.0_171]
at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source) ~[?:1.8.0_171]
at java.net.AbstractPlainSocketImpl.connect(Unknown Source) ~[?:1.8.0_171]
at java.net.PlainSocketImpl.connect(Unknown Source) ~[?:1.8.0_171]
at java.net.SocksSocketImpl.connect(Unknown Source) ~[?:1.8.0_171]
at java.net.Socket.connect(Unknown Source) ~[?:1.8.0_171]
at org.apache.jmeter.visualizers.backend.graphite.SocketOutputStreamPoolFactory.create(SocketOutputStreamPoolFactory.java:77) ~[ApacheJMeter_components.jar:5.2.1]
at org.apache.jmeter.visualizers.backend.graphite.SocketOutputStreamPoolFactory.makeObject(SocketOutputStreamPoolFactory.java:48) ~[ApacheJMeter_components.jar:5.2.1]
at org.apache.jmeter.visualizers.backend.graphite.SocketOutputStreamPoolFactory.makeObject(SocketOutputStreamPoolFactory.java:34) ~[ApacheJMeter_components.jar:5.2.1]
at org.apache.commons.pool2.impl.GenericKeyedObjectPool.create(GenericKeyedObjectPool.java:1041) ~[commons-pool2-2.7.0.jar:2.7.0]
at org.apache.commons.pool2.impl.GenericKeyedObjectPool.borrowObject(GenericKeyedObjectPool.java:342) ~[commons-pool2-2.7.0.jar:2.7.0]
at org.apache.commons.pool2.impl.GenericKeyedObjectPool.borrowObject(GenericKeyedObjectPool.java:265) ~[commons-pool2-2.7.0.jar:2.7.0]
at org.apache.jmeter.visualizers.backend.graphite.TextGraphiteMetricsSender.writeMetrics(TextGraphiteMetricsSender.java:110) [ApacheJMeter_components.jar:5.2.1]
at org.apache.jmeter.visualizers.backend.graphite.TextGraphiteMetricsSender.writeAndSendMetrics(TextGraphiteMetricsSender.java:104) [ApacheJMeter_components.jar:5.2.1]
at org.apache.jmeter.visualizers.backend.graphite.GraphiteBackendListenerClient.sendMetrics(GraphiteBackendListenerClient.java:183) [ApacheJMeter_components.jar:5.2.1]
at org.apache.jmeter.visualizers.backend.graphite.GraphiteBackendListenerClient.run(GraphiteBackendListenerClient.java:146) [ApacheJMeter_components.jar:5.2.1]
at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source) [?:1.8.0_171]
at java.util.concurrent.FutureTask.runAndReset(Unknown Source) [?:1.8.0_171]
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(Unknown Source) [?:1.8.0_171]
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(Unknown Source) [?:1.8.0_171]
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source) [?:1.8.0_171]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) [?:1.8.0_171]
at java.lang.Thread.run(Unknown Source) [?:1.8.0_171]

打開配置文件，發現enabled的值為false，需要改為true，設置結果如下圖：

 修改之後還是沒有解決，因為用的是阿里雲伺服器，需要去阿里雲開啟對應的埠，設置埠如下圖，我這裡是外網訪問，埠一定開放公網入方向才可以，可以是內網則需要在內網入方向下開放2003埠

 

然後重新執行JMeter，執行一段時間後在伺服器上查看influxdb的資料庫，顯示結果如下圖則表示jmeter發送數據到influxdb成功

 

參考資料：

//www.cnblogs.com/mike-liu/p/10080351.html

Tags:

VirMach 便宜 VPS

QNews

QNews