对于爬虫程序来说，最需要注意的字段就是：User-Agent

        很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

        缺点：容易伪造头部。  

        对于爬虫程序而言：

        如果不设置User-Agent，服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。

        所以需要伪造User-Agent进行请求【可以手动设置一个User-Agent，但是更好的是提供多个User-Agent】

2、IP限制

        如果一个固定的ip在短暂的时间内，快速大量的访问一个网站，后台管理员可以编写IP限制，不让该IP继续访问。

        缺点：可以使用免费/付费代理，绕过检测。

       对于爬虫程序而言：使用代理（池）

        IP是上网需要唯一的身份地址，身份凭证，而代理IP就是我们上网过程中的一个中间平台，是由你的电脑先访问代理IP，之后再由代理IP访问你点开的页面，所以在这个页面的访问记录里留下的是就是代理IP的地址，而不是你的电脑本机IP。