利用Python網絡爬蟲採集天氣網的實時信息—BeautifulSoup選擇器
- 2020 年 6 月 2 日
- 筆記
- Python3, Python入門, Python基礎, Python庫, Python應用, Python開發, Python網絡爬蟲, 數據分析, 數據挖掘, 網絡爬蟲
相信小夥伴們都知道今冬以來範圍最廣、持續時間最長、影響最重的一場低溫雨雪冰凍天氣過程正在進行中。預計,今天安徽、江蘇、浙江、湖北、湖南等地有暴雪,局地大暴雪,新增積雪深度4~8厘米,局地可達10~20厘米。此外,貴州中東部、湖南中北部、湖北東南部、江西西北部有凍雨。言歸正傳,天氣無時無刻都在陪伴着我們,今天小編帶大家利用Python網絡爬蟲來實現天氣情況的實時採集。
此次的目標網站是綠色呼吸網。綠色呼吸網站免費提供中國環境監測總站發佈的PM2.5實時數據查詢,更收集分析關於PM2.5有關的一切報告和科研結論,力求以綿薄之力尋同呼吸共命運的你關注PM2.5,關注大氣健康!
程序實現很簡單,本次選擇BeautifulSoup選擇器用於匹配目標信息,如:地區、時間、AQI指數、首要污染物、PM2.5濃度、溫馨提示等。需要採集的頁面內容如下圖所示:
綠色呼吸網天氣信息
在網頁源碼中,目標信息存在的位置如下圖所示:
部分網頁源碼
在開發工具pycharm中進行代碼實現,難點在於BS4選擇器的語法。有個細節需要注意,部分城市在當天是沒有污染物的,因此在網頁中wuranwu這個屬性沒有任何顯示,此時應該介入if判斷語句,避免獲取的數據為空導致程序報錯,也可以做異常處理來解決這個問題。其中部分關鍵代碼如下圖所示:
在開發工具pycharm中進行代碼實現
只要我們右鍵點擊運行,在控制台中輸入我們所關注城市的漢語拼音,便可以在pycharm的控制台中可以看到該地區的實時天氣信息,而且還有溫馨提示,是不是很方便呢?
最近天寒地凍的,小編建議大家注意出行安全,出行優先乘坐公共交通工具,盡量少開車、不開車。
想學習更多Python網絡爬蟲與數據挖掘知識,可前往專業網站://pdcfighting.com/