scrapy中selenium的應用

2020 年 1 月 21 日
筆記

　　在通過scrapy框架進行某些網站數據爬取的時候，往往會碰到頁面動態數據加載的情況發生，如果直接使用scrapy對其url發請求，是絕對獲取不到那部分動態加載出來的數據值。但是通過觀察我們會發現，通過瀏覽器進行url請求發送則會加載出對應的動態加載出的數據。那麼如果我們想要在scrapy也獲取動態加載出的數據，則必須使用selenium創建瀏覽器對象，然後通過該瀏覽器對象進行請求發送，獲取動態加載的數據值。

1.案例分析：

　　需求：爬取網易新聞的國內板塊下的新聞數據

　　需求分析：當點擊國內超鏈進入國內對應的頁面時，會發現當前頁面展示的新聞數據是被動態加載出來的，如果直接通過程序對url進行請求，是獲取不到動態加載出的新聞數據的。則就需要我們使用selenium實例化一個瀏覽器對象，在該對象中進行url的請求，獲取動態加載的新聞數據。

2.selenium在scrapy中使用的原理分析：

　　當引擎將國內板塊url對應的請求提交給下載器後，下載器進行網頁數據的下載，然後將下載到的頁面數據，封裝到response中，提交給引擎，引擎將response在轉交給Spiders。Spiders接受到的response對象中存儲的頁面數據里是沒有動態加載的新聞數據的。要想獲取動態加載的新聞數據，則需要在下載中間件中對下載器提交給引擎的response響應對象進行攔截，切對其內部存儲的頁面數據進行篡改，修改成攜帶了動態加載出的新聞數據，然後將被篡改的response對象最終交給Spiders進行解析操作。

3.selenium在scrapy中的使用流程：

重寫爬蟲文件的構造方法，在該方法中使用selenium實例化一個瀏覽器對象（因為瀏覽器對象只需要被實例化一次）
重寫爬蟲文件的closed(self,spider)方法，在其內部關閉瀏覽器對象。該方法是在爬蟲結束時被調用
重寫下載中間件的process_response方法，讓該方法對響應對象進行攔截，並篡改response中存儲的頁面數據
在配置文件中開啟下載中間件

4.代碼展示：

爬蟲文件：

class WangyiSpider(RedisSpider):      name = 'wangyi'      #allowed_domains = ['www.xxxx.com']      start_urls = ['https://news.163.com']      def __init__(self):          #實例化一個瀏覽器對象(實例化一次)          self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')        #必須在整個爬蟲結束後，關閉瀏覽器      def closed(self,spider):          print('爬蟲結束')          self.bro.quit()

中間件文件：

from scrapy.http import HtmlResponse      #參數介紹：      #攔截到響應對象（下載器傳遞給Spider的響應對象）      #request：響應對象對應的請求對象      #response：攔截到的響應對象      #spider：爬蟲文件中對應的爬蟲類的實例      def process_response(self, request, response, spider):          #響應對象中存儲頁面數據的篡改          if request.url in['http://news.163.com/domestic/','http://news.163.com/world/','http://news.163.com/air/','http://war.163.com/']:              spider.bro.get(url=request.url)              js = 'window.scrollTo(0,document.body.scrollHeight)'              spider.bro.execute_script(js)              time.sleep(2)  #一定要給與瀏覽器一定的緩衝加載數據的時間              #頁面數據就是包含了動態加載出來的新聞數據對應的頁面數據              page_text = spider.bro.page_source              #篡改響應對象              return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding='utf-8',request=request)          else:              return response

配置文件：

DOWNLOADER_MIDDLEWARES = {      'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,    }