shell中for循環grep正則統計指定關鍵字

• 2019 年 11 月 27 日
• 筆記

需求是統計某個業務的訪問個數日誌伺服器上的目錄結構是如下,搜索最近7天的指定關鍵字數據,並排重統計個數:

drwxr-xr-x 2 root root 4096 Nov 15 08:00 2019-11-15  drwxr-xr-x 2 root root 4096 Nov 16 08:00 2019-11-16  drwxr-xr-x 2 root root 4096 Nov 17 08:00 2019-11-17  drwxr-xr-x 2 root root 4096 Nov 18 08:00 2019-11-18  drwxr-xr-x 2 root root 4096 Nov 19 08:00 2019-11-19  drwxr-xr-x 2 root root 4096 Nov 20 08:00 2019-11-20  drwxr-xr-x 2 root root 4096 Nov 21 08:00 2019-11-21  drwxr-xr-x 2 root root 4096 Nov 22 08:00 2019-11-22  [root@mail tmp]# ll /data1/mailLog/app/kafka/2019-11-22/  total 5708872  -rw-r--r-- 1 root root 4847545594 Nov 22  2019 api-mail-sina-com-cn.log

for循環的一行表示形式for ((i=15;i<=21;i++));do xxx;done while循環的一行表示 while true;do xxx;done 獲取當前年月`date +%Y-%m` grep -oP只顯示正則匹配到的內容 uniq|sort -u是去重

 for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep -oP "appid=2026078627&uid=d+"|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.log;done

把匹配到的日誌去重放入了/tmp/2019-11-22.android.log

wc -l *.android.log     87851 2019-11-15.android.log     78686 2019-11-16.android.log     76190 2019-11-17.android.log     90938 2019-11-18.android.log     91705 2019-11-19.android.log     91388 2019-11-20.android.log     91796 2019-11-21.android.log

如果有不同的關鍵字,就多加幾個grep,類似下面這個

 for ((i=15;i<=21;i++));do cat `date +%Y-%m-$i`/api-mail-sina-com-cn.log|grep "2026078627"|grep "active_client"|grep -oP "device_id=[^&]+|uniq|sort -u >/tmp/`date +%Y-%m-$i`.android.device.log;done