對於爬蟲程式來說，最需要注意的欄位就是：User-Agent

        很多網站都會建立 user-agent白名單，只有屬於正常範圍的user-agent才能夠正常訪問。

        缺點：容易偽造頭部。  

        對於爬蟲程式而言：

        如果不設置User-Agent，伺服器端只會收到一個單純的對於該頁面訪問的請求,但是伺服器並不知道發送這個請求使用的瀏覽器,作業系統,硬體平台等資訊,而缺失這些資訊的請求往往都是非正常的訪問,例如爬蟲。

        所以需要偽造User-Agent進行請求【可以手動設置一個User-Agent，但是更好的是提供多個User-Agent】

2、IP限制

        如果一個固定的ip在短暫的時間內，快速大量的訪問一個網站，後台管理員可以編寫IP限制，不讓該IP繼續訪問。

        缺點：可以使用免費/付費代理，繞過檢測。

       對於爬蟲程式而言：使用代理（池）

        IP是上網需要唯一的身份地址，身份憑證，而代理IP就是我們上網過程中的一個中間平台，是由你的電腦先訪問代理IP，之後再由代理IP訪問你點開的頁面，所以在這個頁面的訪問記錄里留下的是就是代理IP的地址，而不是你的電腦本機IP。