堆糖網爬蟲(根據關鍵字下載圖片)
一、分析過程
- 打開charles,訪問堆糖網,輸入關鍵字點擊搜索,觀察charles結果
發現這裡傳了兩個參數,一個是kw關鍵字,和一個type
下面我們拖動進度條,繼續往下瀏覽,看接口會發生哪些變化
這個接口是新增的,請求的參數也包含了我們的關鍵字,而且多了一些不知道是什麼的參數,但是看第二個參數是24
繼續往下瀏覽
發現每觸發一次接口這個值都會增加24
每觸發一次接口返回24張圖片,那我每次都給他加24就好了。
看返回的數據是json類型的,標出的就是圖片的url地址,根據json取到,再存到本地就可以了。
這個站還是比較簡單的,不需要登錄,而且變化的值也就那麼幾個參數