爬蟲篇-如何下載selenium及其適配Google瀏覽器插件chromedriver(含chrome各版本及下載地址)

最近換了電腦,練習爬蟲時用到selenium,結果在重新安裝chromedriver插件的時候發現原網址不能使用,找了好久終於找到了了新網址,順便更一篇詳細使用的文章,希望可以對螢幕前的你有所幫助。本篇文章共分以下三個板塊。

一、什麼是 selenium?

二、安裝selenium

三、下載chrome driver

 

一、什麼是 selenium?

selenium原本被用於網頁測試,是瀏覽器自動化測試框架,但在爬蟲領域,它也實現了極大的價值。selenium 可以控制你的瀏覽器,模仿人瀏覽網頁,從而獲取數據,自動操作等。簡單來說,只需運行你的程式碼,它就會實現自動打開瀏覽器,甚至還能輸入賬戶密碼,實現網頁登陸等一系列自動操作。

有了 selenium,我們便不再需要判斷網頁數據載入的方式,只要讓 selenium 自動控制瀏覽器,就像有雙無形的手,控制著你的滑鼠和鍵盤,自動地幫你幹活。爬取數據?自動搶票?這些當然統統都不在話下。

不過 selenium 也並非沒有缺點。因為要打開瀏覽器並控制它,所以和我們以前學的爬蟲相比,它佔用的資源會更多,爬取數據的效率也會有所降低,不過至少比我們手動操作還是快很多的。

 

二、安裝selenium

方法一:和其他 Python 第三方庫的安裝一樣,我們要在命令行中使用 pip 命令安裝 selenium:

方法二:我用的pycharm,直接在裡面安裝。File——settings——Project——Python Interpreter——點擊”+”——搜索」selenium”——install

 

三、下載chrome driver

使用elenium 還需要安裝相應的瀏覽器驅動才能控制瀏覽器(最好使用 Chrome 瀏覽器),後面都以 Chrome 瀏覽器 為例,其他瀏覽器大同小異。

查看Chrome版本:首先打開 Chrome 瀏覽器,依次點擊瀏覽器右上角的 三個點 – 幫助 – 關於 Google Chrome。

如圖,我的瀏覽器的版本資訊是 100.0.4896.88。

下載驅動:打開//chromedriver.storage.googleapis.com/index.html網站,裡面有很多版本的驅動,其中可能沒有準確對應我們瀏覽器版本的驅動。我們選擇最接近的版本即可,我選擇了100.0.4896.60這個版本。我用的Windows系統,因為64位向下兼容,Windows直接下載32位即可。Windows 系統下載裡面的 chromedriver_win32.zip 文件,MacOS 下載 chromedriver_mac64.zip。

移動驅動到Python安裝目錄:下載完成後解壓縮chromedriver ,Windows 系統得到 chromedriver.exe,MacOS 得到 chromedriver,這個就是我們需要的瀏覽器驅動。我們要將它放到 Python 所在安裝目錄里。 如果你忘了 Python 的安裝目錄,可以根據下面的操作來找到。

在程式碼編輯器中運行以下程式碼,讓 Python 自己列印出所在的位置:

import sys
print(sys.executable)

# 輸出
# C:\Users\13781\PycharmProjects\spiderexercise\venv\Scripts\python.exe C:/Users/13781/PycharmProjects/spiderexercise/shan.py
# C:\Users\13781\PycharmProjects\spiderexercise\venv\Scripts\python.exe

一般情況下,Windows 系統:C:\xxx\xxx\python.exe;MacOS:/Users/xxx/xxx/xxx/python。

去掉末尾的 \python.exe 或者 /python 就是 Python 所在的目錄。打開目錄後,我們將下載好的驅動放到目錄中即可。

驗證驅動是否安裝成功:Windows 系統在的命令行中輸入 chromedriver 命令,MacOS 系統在終端中輸入 chromedriver 命令。

如果出現如圖所示的內容,就證明驅動已經安裝成功了。

 

接下來~就盡情地享受selenium帶給你的奇幻魅力吧~