『居善地』介面測試 — 7、Requests庫使用proxies代理髮送請求

1、代理的了解

image

在上圖中我們可以把Web server看成是Google伺服器,正常情況下在中國是無法訪問Google伺服器的,這個時候就需要使用代理軟體,幫助我們發送請求來訪問Google伺服器。然後再通過代理軟體把Google伺服器響應的結果返回給我們的瀏覽器,這個代理軟體就起到了一個代理的作用,幫助我們發送請求,幫助我們接收響應。

2、代理的分類

image

正常情況下,我們使用瀏覽器來訪問百度伺服器,可以正常的直接的進行訪問。

(1)正向代理

正向代理類似一個跳板機,代理訪問外部資源。

比如我們中國訪問Google,直接訪問訪問不到,我們可以通過一個正向代理伺服器,將請求發到代理伺服器,代理伺服器能夠訪問Google,這樣由代理取到Google伺服器返回的數據,再返回給我們,這樣我們就能訪問Google了。

image

(2)反向代理

反向代理(Reverse Proxy)實際運行方式是指,以代理伺服器來接受Internet上的連接請求,然後將請求轉發給內部網路上的伺服器,並將從伺服器上得到的結果,返回給Internet上請求連接的客戶端,此時代理伺服器對外就表現為一個伺服器。

image

(3)總結

  • 正向代理即是客戶端代理, 代理客戶端, 服務端不知道實際發起請求的客戶端。
  • 反向代理即是服務端代理, 代理服務端, 客戶端不知道實際提供服務的服務端。

image

形象的描述:

  • 正向代理: 找黃牛買票。
  • 反向代理: 租房的中介。

3、Requests庫使用代理

只需要添加proxies參數即可,接收字典格式的參數。

示例:

# 1.導入requests庫
import requests

# 明確要訪問的url地址
url = "//ip.tool.chinaz.com/"

# 明確請求頭資訊
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
}

# 設置代理伺服器地址
# 如果發送的是http請求,就使用http請求的代理,如果發送的是https請求,就使用一個https請求的代理。
proxies = {"https": "//58.220.95.86:9401", "http": "//113.214.13.1:1080"}

# 發送請求
response = requests.get(url=url, headers=headers, proxies=proxies)
# 查看響應結果的狀態碼
print(response.status_code)
# 獲得響應結果的源碼
print(response.text)

說明一下:

訪問url = "//ip.tool.chinaz.com/"這個地址的並不是我們自己的IP地址,而是proxies屬性中定義的IP地址。實際上我們把請求發送給代理伺服器,代理伺服器幫我們訪問了上面的網址。

驗證一下:

  • //ip.tool.chinaz.com/是一個檢查IP地址的網站。
  • 通過執行上面的示例,看看response.text返回的請求源碼中的IP地址資訊。
    在返回的源碼中,是可以定位到如下資訊的,證明我們上面使用的代理成功了。

    <div class="WhwtdWrap bor-b1s col-gray03" style="height:auto">
    	<span class="Whwtdhalf w15-0 lh45">58.220.95.86</span>
        <span class="Whwtdhalf w15-0 lh45" style="cursor:pointer;" onclick="AiWenIpData('58.220.95.86')">58.220.95.86</span>
        <span class="Whwtdhalf w15-0 lh45">987520854</span>
        <span class="Whwtdhalf w30-0 lh24 tl ml80">
       		<p>江蘇省揚州市電信</p>
       	</span>
    </div>
    
  • 尋找代理伺服器請參考://proxy.mimvp.com/freeopen

4、總結

為什麼需要使用代理?

  • 讓伺服器以為不是同一個客戶端在請求。
  • 防止我們的真實地址被泄露。

這裡我們就知道Requests庫中proxies代理如何使用,了解其原理就可以了。

參考://www.cnblogs.com/taostaryu/p/10547132.html