MySQL、Redis、MongoDB網路抓包工具
簡介
go-sniffer 可以抓包截取項目(MySQL、Redis、MongoDB)中的請求並解析成相應的語句,並格式化輸出。類似於在之前的文章 MySQL抓包工具:MySQL Sniffer【轉】中介紹的mysql-sniffer。而 go-sniffer 可以對更多資料庫進行抓包分析,現在來介紹在什麼情況下會使用該工具的。
使用
下載:
github 地址://github.com/40t/go-sniffer
安裝:
1)安裝依賴包:
Centos:
yum -y install libpcap-devel
Ubuntu:
apt-get install libpcap-dev
另外還需要安裝golang,並且版本需要在1.10.3以上。
wget https://golang.org/dl/go1.10.3.linux-amd64.tar.gz
設置好相關的環境變數。如果不想要go環境 ,則可以直接在其他地方安裝好go-sniffer之後,複製到目標伺服器上直接使用。
2)下載安裝
-- 安裝好go環境的伺服器上: go get -v -u github.com/40t/go-sniffer cp -rf $(go env GOPATH)/bin/go-sniffer /usr/local/bin --安裝到設置好的go環境變數的目錄里 go-sniffer
參數說明: go-sniffer –help
======================================================================= [使用說明] go-sniffer [設備名] [插件名] [插件參數(可選)] [例子] go-sniffer en0 redis 抓取redis數據包 go-sniffer en0 mysql -p 3306 抓取mysql數據包,埠3306 go-sniffer --[命令] --help 幫助資訊 --env 環境變數 --list 插件列表 --ver 版本資訊 --dev 設備列表 [例子] go-sniffer --list 查看可抓取的協議 ======================================================================= [設備名] : lo0 : 127.0.0.1 [設備名] : en0 : x:x:x:x:x5:x 192.168.1.3 [設備名] : utun2 : 1.1.11.1 =======================================================================
語法:
$ go-sniffer lo0 mysql $ go-sniffer en0 redis $ go-sniffer eth0 http -p 8080 $ go-sniffer eth1 mongodb
使用場景
一 Redis :審計、發現熱點key
關於Redis的知識點就不說了,主要來說明如何使用go-sniffer來抓包分析。如果想發現哪個key的操作比較多或則是否存在熱點key,在Redis4.0之前沒有什麼好辦法(4.0之後的LFU可以查看hotkey),只有通過統計各個客戶端發來的命令進行統計。雖然monitor可以看到某一刻的key操作,但是該命令消耗巨大,可能會造成客戶端緩衝區溢出。並且也沒有合適的插件來進行實現。即使有的話,對Redis的性能肯定有一定的損耗,所以只有監控其網路來分析操作是對Redis服務的影響最小的。如對一個實例進行監控:
go-sniffer eth0 redis -p 6379 >> out.log
對通過eth0網卡的客戶端訪問埠為6379的Redis服務進行抓包,並把資訊寫到文件中。該文件的日誌格式:
tcp and port 6379 get abc get abc get abc get abc get opq get opq get opq get opq get xyz get xyz get xyz
可以看到,該文件的資訊就是操作日誌,最後可以通過使用awk來分析,也可以把該日誌文件寫入到資料庫的表裡進行統計分析:
# grep -avEi "^#|^$|^tcp|^ INFO|^ AUTH|^ REPLCONF ACK|^ CONFIG GET" out.txt |awk '{print $1,$2}'|sort| uniq -c | sort -nr |head -n 10 5 get abc 4 get opq 3 get xyz
注意:go-sniffer也需要消耗一定的資源,大致的消耗可以看以下表格:
OPS | Redis CPU | sniffer CPU |
1.2W | 20% | 30% |
5.5W | 80% | 140% |
7.5W | 98% | 180% |
從上面看到,go-sniffer所需要的CPU資源是Redis的2倍左右。所以,在使用該工具之前,先判斷本身伺服器的資源是否夠用。
二 MySQL:審計
go-sniffer eth0 mysql -p 3306 >> out.log
三 MongoDB:審計
go-sniffer eth0 mongodb -p 27017 >> out.log