python爬蟲—實現項目(二) 分析Ajax請求抓取數據

• 2019 年 10 月 5 日
• 筆記

這次我們來繼續深入爬蟲數據，有些網頁通過請求的html程式碼不能直接拿到數據，我們所需的數據是通過ajax渲染到頁面上去的，這次我們來看看如何分析ajax

我們這次所使用的網路庫還是上一節的Requests，結果用到mongodb來存儲（需要提前安裝pymongo庫），開啟多執行緒爬。

分析：有很多網頁打開以後，我們得到html源碼並不能得到我們想要的數據，這時網站很有可能是通過ajax來載入的數據。

我們打開調試模式F12，點擊NetWork，我們來分析我所要的數據藏在哪裡

我們可以看到我們所需要的數據是通過ajax載入出來的。

項目一：分析Ajax來抓取今日頭條街拍美圖

程式碼地址：https://gitee.com/dwyui/toutiao_jiepai.git

簡單看一下我們的運行結果：