堆糖網爬蟲(根據關鍵字下載圖片)

一、分析過程

  1. 打開charles,訪問堆糖網,輸入關鍵字點擊搜索,觀察charles結果
    image
    發現這裡傳了兩個參數,一個是kw關鍵字,和一個type
    下面我們拖動進度條,繼續往下瀏覽,看接口會發生哪些變化

image
這個接口是新增的,請求的參數也包含了我們的關鍵字,而且多了一些不知道是什麼的參數,但是看第二個參數是24
繼續往下瀏覽

image
發現每觸發一次接口這個值都會增加24

image
每觸發一次接口返回24張圖片,那我每次都給他加24就好了。

image
看返回的數據是json類型的,標出的就是圖片的url地址,根據json取到,再存到本地就可以了。

這個站還是比較簡單的,不需要登錄,而且變化的值也就那麼幾個參數