[資料庫]000 – 🍳Sysbench 資料庫壓力測試工具

• 2020 年 12 月 30 日
• 筆記

000 – 🍳Sysbench 資料庫壓力測試工具

• sysbench 是一個開源的、模組化的、跨平台的多執行緒性能測試工具，可以用來進行CPU、記憶體、磁碟I/O、執行緒、資料庫的性能測試。目前支援的資料庫有MySQL、Oracle和PostgreSQL。以下操作都將以支援MySQL資料庫為例進行。

1. Linux 上安裝 sysbench 工具

• 安裝方式有兩種，一種是通過 yum/apt 等來安裝，另一種自己下載源碼包來安裝，筆者這裡採用的是centos ,採用yum 安裝
• sysbench 的源碼包下載地址： //sourceforge.net/projects/sysbench ，採用源碼安裝的可轉這裡
• 通過 yum 安裝如下：
  • 設置 yum repo 倉庫

curl -s //packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

• 安裝

sudo yum -y install sysbench

• 安裝完檢查是否成功

sysbench –version

2. 資料庫測試用例準備

• 我們這裡測試的是 MySQL ，首先我們在資料庫創建一個專門用來測試的庫 test_db

• 通過sysbench 創建20個測試表，每個表中創建100萬數據，再通過10個執行緒對測試庫發起訪問，持續5分鐘，對其進行壓測

3. sysbench 構建表與數據

• 執行下面命令準備數據

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_read_write –db-ps-mode=disable prepare

• 上面命令的參數說明：
  • --db-driver=mysql : 表示資料庫的驅動類型，我們使用的是 MySQL 所以填mysql ,如果使用 Oracle 則填寫相應的oracle
  • --time=300 : 這個參數表示持續訪問的時間 300秒
  • --threads=10 : 表示使用10個執行緒模擬並發訪問
  • --report-interval=1 : 表示每隔一秒輸出以此壓測情況
  • --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root : 這一塊的配置，就是基本的資料庫鏈接資訊，指定資料庫IP ，埠，帳號密碼
  • --mysql-db=test_db --tables=20 --table_size=1000000 : 這三個參數設置，表示指定測試的庫為test_db , 同時在這個庫中構建20個表，並且每個表中構建出 100萬條測試數據，表的名字會類似 sbtest1,sbtest2 這種格式
  • oltp_read_write : 表示執行oltp 資料庫的讀寫測試
  • --db-ps-mode=disable : 禁止 ps 模式
  • prepare : 表示按照命令設置去構建出我們的數據，也就是對前面所有命令的執行方案

4. 全方位測試

1. 綜合讀寫測試

• 測試資料庫的綜合讀寫TPS ,使用 oltp_read_write 模式

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_read_write –db-ps-mode=disable run

注意：命令最後不再是 之前的 prepare，這裡是 run ，表示運行壓測，前面的是準備數據

• 效果

• 上面是直接輸出到控制台，我們也可以將其全部記錄在文件中，通過管道，| tee /tmp/mysysbench.log 整個命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_read_write –db-ps-mode=disable run | tee /tmp/mysysbench.log

2. 只讀性能測試

• 測試資料庫的只讀性能，使用 oltp_read_only 模式，命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_read_only –db-ps-mode=disable run

• 結果：

• 如果要輸出到文件如上

3. 刪除性能測試

• 測試資料庫的刪除性能，使用模式：oltp_delete ,命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_delete –db-ps-mode=disable run

4. 更新索引欄位測試

• 測試資料庫的更新索引欄位的性能，使用模式：oltp_update_index , 命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_update_index –db-ps-mode=disable run

5. 更新非索引欄位測試

• 測試資料庫中更新非索引欄位的性能，使用模式：oltp_update_non_index, 命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_update_non_index –db-ps-mode=disable run

6. 插入性能測試

• 測試資料庫的數據插入性能，使用模式：oltp_insert,命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_insert –db-ps-mode=disable run

7. 寫入性能測試

• 測試資料庫的寫入性能，使用模式：oltp_write_only, 命令如下：

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_write_only –db-ps-mode=disable run

8. 清理數據

• 前面命令進行了各種測試，在測試完之後我們可以通過下面的 cleanup 命令來清除構建的測試數據

sysbench –db-driver=mysql –time=300 –threads=10 –report-interval=1 –mysql-host=192.168.56.10 –mysql-port=3306 –mysql-user=root –mysql-password=root –mysql-db=test_db –tables=20 –table_size=1000000 oltp_read_write –db-ps-mode=disable cleanup

9. 壓測結果分析

• 通過上面的命令我們可以全方位的得到測試的結果，我們直接每個一秒輸出一次結果，在控制台會輸出類似下面的東西：

[ 31s ] thds: 10 tps: 350.35 qps: 5575.50 (r/w/o: 4874.81/0.00/700.69) lat (ms,95%): 36.89 err/s: 0.00 reconn/s: 0.00

• 我們來解釋一下其中的含義，首先[31s] 表示這是在第31秒的時候輸出的一段壓測統計結果，其他欄位如下：

  • thds:10 : 表示當前有10個執行緒正在壓測
  • tps:350.35 : 表示當前每秒執行了 350.35 個事務
  • qps:5575.50: 表示當前每秒可以執行 5575.50 個請求
  • (r/w/o: 4874.81/0.00/700.69) : 表示在每秒 5575.50 個請求中，有 4874.81 個讀請求，0.00 個寫請求，700.69 個其他請求，其實就是對 qps 的細化
  • lat (ms,95%): 36.89：表示 95% 的請求的延遲都在36.89 毫秒以下
  • err/s: 0.00 reconn/s: 0.00：表示有0個請求失敗，發生了0次的網路重連

• 在壓測結束後會輸出一個總的壓測結果，如下：

• 其中的參數的解釋：

10. 常用監控命令

• 在壓測過程中我們要時刻關注伺服器的 CPU 、磁碟I/O 、網路負載等資訊，一旦發現任何一個超出一定負荷，則不適合再繼續加大執行緒數來壓測了
• 一定要注意，壓測的過程是要保證機器各項指標在正常範圍內的最大負載，而不是我們不斷的增大 sysbench 的執行緒數，不關係其他指標，這樣即使機器每秒抗住了很高的qps ,但是這時候的機器已經是滿負荷運行了，記憶體，cpu，網路頻寬等都幾乎被打滿，這種情況機器隨時可能掛掉，這時候的測壓就沒有什麼代表性了，因為你不可能在生產者讓它達到這樣的負荷

觀察 CPU 的的負荷

• 在Linux下最常見的命令就是top 命令，可以輸出詳細的情況，如下：

• 對於上面的輸出，我們詳細來分析一下，首先看第一行的輸出

top – 16:24:21 up 13:41, 4 users, load average: 0.11, 3.10, 3.72

• 16:24:21 : 表示當前的時間
• up 13:41：表示已經運行了多長時間
• 4 users：當前機器有幾個用戶在使用
• load average: 0.11, 3.10, 3.72：這是核心。表示 CPU 在 一分鐘、五分鐘、十五分鐘 內的平均負載情況，簡單解釋一下，假設我們是一個四核的CPU ，此時如果我們的CPU 負載是 0.15 ，那麼表示這四個核心中連一個核心都沒使用滿，表明整體比較空閑；如果整個負載是1，則表示四個核中有一個已經使用的比較繁忙了，但是其他三個還是比較空閑的；如果負載是4，則說明當前四個核心都處於跑滿的狀態，如果負載大於四，假設6，那說明四核的CPU 被超負荷使用也無法處理完當前的任務，有很多執行緒與要等待CPU 資源
• 後面有記憶體的使用情況，

KiB Mem : 498684 total, 6216 free, 366620 used, 125848 buff/cache

• 498684 total ： 總的記憶體，差不多 490M
• 6216 free：當前可用記憶體，6M
• 366620 used：已使用記憶體
• 125848 buff/cache：用於IO 緩衝的記憶體

磁碟IO檢測

• 在檢測CPU 和記憶體使用的同時，我們還需要檢測磁碟的使用狀況，包括IO 吞吐量，IOPS 等資訊
• 主要通過 dstat 命令來查看，如果系統沒有裝可以通過 yum install dstat 進行安裝
• 執行 dstat -d 命令，可以看到如下：

上面顯示的記憶體可以看到存儲的IO吞吐量的詳細數據，每秒讀19M數據，每秒寫 6521K的數據，這個吞吐量並不是很高，一般普通的機械硬碟可以到達上百MB的讀寫量

• 使用命令 dstat -r 來查看IOPS 的情況，如下：

如上面結果可以看到，讀寫分別的IOPS 的值，也就是說隨即磁碟讀取/寫入每秒多少次，通常來說磁碟的讀寫每秒在兩三百次是可接受的

網卡流量檢測

• 同樣我們可以通過 dstat -n 來查看網卡的具體流量情況，如下：

可以看到上面所示，網卡每秒接收和發送的數據量。通常來說如果我們電腦是千兆網卡，那麼每秒鐘網卡的總流量也就在100M 左右，甚至更低

本文由AnonyStar 發布,可轉載但需聲明原文出處。
歡迎關注微信公帳號 ：雲棲簡碼 獲取更多優質文章
更多文章關注筆者部落格 ：雲棲簡碼 i-code.online