以【某程旅行】為例，講述小程序爬蟲技術

2021 年 7 月 18 日
筆記

大家好，我是辰哥~~~

前提：在學習本文採集小程序數據之前，相信大家都掌握了抓取數據包的技能，比如使用Mitmproxy進行抓取數據包。如果看到這裡的你還沒有掌握的話，可以參與辰哥之前的寫的一篇關於mitmproxy使用的文章(實戰|手把手教你如何使用抓包神器MitmProxy)。

本文目標：利用Mitmproxy抓取某程小程序景點數據，並實現翻頁（下一頁）循環爬取。

思路：

1、利用Mitmproxy抓取數據包，並進行分析

2、利用分析的結果，編寫Python代碼進行提取數據，並進行實現下一頁採集

01、mitmproxy抓取數據包

1.啟動mitmproxy

先配置好手機的代理IP和啟動mitmproxy

在終端中啟動mitmweb

mitmweb

在瀏覽器中查看數據包（輸入mitmweb會自動在瀏覽器中打開網頁，如果沒有打開的則手動輸入）

//127.0.0.1:8081/#/flows

2.訪問小程序

打開同程旅行小程序，點擊全部景點

可以看到頁面中出現了景點列表：

3.瀏覽器中查看數據包

上圖中紅框部分是景點列表的api接口，點擊response查看返回的數據。

02、Python解析數據包

1.分析接口

經過分析，發現該接口是沒有反爬(簽名驗證)，因此通過這個接口可以直接爬取多頁數據，比如修改接口鏈接中的參數

參數：

page頁數

PageSize條數

CityId城市

keyword關鍵詞

…

因此通過修改page就可以獲取全部景點數據。

得知接口鏈接，在python中通過requests請求去獲取數據，這種方式我們都會。

import requests
### 獲取第1頁~第10頁數據
for p in range(1,11):
    # 頁數
    url = "//wx.17u.cn/scenery/json/scenerylist.html?PosCityId=78&CityId=53&page="+str(p)+"&sorttype=0&PageSize=20&IsSurrounding=1&isSmallPro=1&isTcSmallPro=1&isEncode=0&Lon=113.87234497070312&Lat=22.90543556213379&issearchbytimenow=0&IsNeedCount=1&keyword=&IsPoi=0&status=2&CityArea=5&Grades=&IsSearchKeyWordScenery=1"
    response = requests.get(url).json()
    print(response)

今天我們用另一種方式去獲取數據，這種方式可以用於繞過接口簽名驗證的反爬，比如sign或者x-sign等簽名加密參數。