如何利用BeautifulSoup選擇器抓取京東網商品信息

昨天小編利用Python正則表達式爬取了京東網商品信息,看過代碼的小夥伴們基本上都坐不住了,辣么多的規則和辣么長的代碼,悲傷辣么大,實在是受不鳥了。不過小夥伴們不用擔心,今天小編利用美麗的湯來為大家演示一下如何實現京東商品信息的精準匹配~~

HTML文件其實就是由一組尖括號構成的標籤組織起來的,每一對尖括號形式一個標籤,標籤之間存在上下關係,形成標籤樹;因此可以說Beautiful Soup庫是解析、遍歷、維護「標籤樹」的功能庫。

如何利用BeautifulSoup抓取京東網商品信息

首先進入京東網,輸入自己想要查詢的商品,向服務器發送網頁請求。在這裡小編仍以關鍵詞「狗糧」作為搜索對象,之後得到後面這一串網址://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其中參數的意思就是我們輸入的keyword,在本例中該參數代表「狗糧」,具體詳情可以參考Python大神用正則表達式教你搞定京東商品信息。所以,只要輸入keyword這個參數之後,將其進行編碼,就可以獲取到目標URL。之後請求網頁,得到響應,爾後利用bs4選擇器進行下一步的數據採集。

商品信息在京東官網上的部分網頁源碼如下圖所示:

如何利用BeautifulSoup抓取京東網商品信息

仔細觀察源碼,可以發現我們所需的目標信息是存在

  • 標籤下的,那麼接下來我們就像剝洋蔥一樣,一層一層的去獲取我們想要的信息。
  • 直接上代碼,如下圖所示:

    如何利用BeautifulSoup抓取京東網商品信息

    通常URL編碼的方式是把需要編碼的字符轉化為%xx的形式,一般來說URL的編碼是基於UTF-8的,當然也有的於瀏覽器平台有關。在Python的urllib庫中提供了quote方法,可以實現對URL的字符串進行編碼,從而可以進入到對應的網頁中去。

    之後利用美麗的湯去提取目標信息,如商品的名字、鏈接、圖片和價格,具體的代碼如下圖所示:

    如何利用BeautifulSoup抓取京東網商品信息

    在本例中,有個地方需要注意,部分圖片的鏈接是空值,所以在提取的時候需要考慮到這個問題。其解決方法有兩個,其一是如果使用img[‘src’]會有報錯產生,因為匹配不到對應值;但是使用get[‘src’]就不會報錯,如果沒有匹配到,它會自動返回None。此外也可以利用try+except進行異常處理,如果匹配不到就pass,小夥伴們可以自行測試一下,這個代碼測速過程在上圖中也有提及哈。使用get方法獲取信息,是bs4中的一個小技巧,希望小夥伴們都可以學以致用噢~~~

    最後得到的效果圖如下所示:

    如何利用BeautifulSoup抓取京東網商品信息

    新鮮的狗糧出爐咯~~~

    小夥伴們,有沒有發現利用BeautifulSoup來獲取目標信息比正則表達式要簡單一些呢?
    想學習更多Python網絡爬蟲與數據挖掘知識,可前往專業網站://pdcfighting.com/