python爬蟲—實現項目(四) 用BeautifulSoup分析新浪新聞數據

• 2019 年 10 月 5 日
• 筆記

　　這次只演示了，如何在真實項目內用到BeautifulSoup庫來解析網頁，而新浪的新聞是ajax載入過來的數據，在這裡我們只演示解析部分數據（具體反扒機制沒做分析）。

程式碼地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。

關於的爬蟲的部落格已經越來越多，使用到的技術也越來越多，後期我還會持續寫下去，大概從幾個角度去寫，多執行緒爬取（提高效率），如何更好的做到爬取數據（破解反扒）。

用redis管理多執行緒和代理IP，後期也會做一段關於非關係型資料庫的部落格，敬請期待。