Python爬虫入门（二）之Requests库

2020 年 12 月 1 日
笔记
Python, 爬虫

Python爬虫入门（二）之Requests库

我是照着小白教程做的，所以该篇是更小白教程hhhhhhhh

一、Requests库的简介

Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。（摘自Requests库官方文档）

二、Requests的功能特性

Requests 完全满足今日 web 的需求。

Keep-Alive & 连接池
国际化域名和 URL
带持久 Cookie 的会话
浏览器式的 SSL 认证
自动内容解码
基本/摘要式的身份认证
优雅的 key/value Cookie
自动解压
Unicode 响应体
HTTP(S) 代理支持
文件分块上传
流下载
连接超时
分块请求
支持 .netrc

Requests 支持 Python 2.6—2.7以及3.3—3.7，而且能在 PyPy 下完美运行。

三、运行环境

Windows版本
我的电脑用的是Win7系统，因为从上大学开始，很多软件装上使用不了，比如VC++6.0等等，当时是说Win10还有很多软件不兼容（PS：16年的Win10还不大成熟…），后来就一直用的Win7，当然前不久微软也发官方通告了，Win7被淘汰了，不过没关系，Win7和Win10在大多数情况下，是类似的，这个爬虫系列我就以Win7为例。
Python版本
看了很多教程，我下了anaconda，它是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项（PS：应该蛮好用，要不然也不会那么多人用它hhh）。这次我下的是3.8版本的，传送门Anaconda官网。
集成开发环境（IDE）
我用的是PyCharm，这个比较经典还好用，是由JetBrains打造的一款Python IDE，传送门JetBrains官网。

四、软件安装

安装Python
进入Anaconda官网点击下载安装包

开始安装界面

自定义安装目录，它弹了个警告，就是因为我存放的文件夹名是program Files，中间有空格，建议大家取名用连字符命名，要不然以后装Conda packages会出问题

安装完成
安装IDE

进入JetBrains官网点击下载安装包

开始安装界面

第一个复选框是让你选择64位系统，你可以根据计算机系统确定是否勾选
第二个复选框是将打开的文件夹做为项目添加进去
第三个复选框是关联py类型的文件，默认此类型文件用PyCharm打开
第四个复选框是将启动器dir添加到路径里

五、安装Request库

点击开始菜单，找到Anaconda的安装目录，以管理员身份运行Anaconda Prompt

// 键入命令
conda install requests

键入上面的命令，开始安装Request库

安装完毕，传送门Requests库官方文档，其中有很多本文没提到的库操作方法。
在安装此库，我遇到了一些问题，就是我看的教程里，博主是直接用的cmd，我也用管理员身份运行，我怀疑是因为安装目录和操作目录不是一个，所以键入命令，不能识别我的字。使用了Anaconda来安装该库，可能对于我来说简单一丢丢hhhhhhh

六、初试PyCharm

打开PyCharm，新建项目，建议放在自己命名测试的文件夹里

在文件夹里新建Python文件
输入下方代码导入Request库

import requests #导入Request库

继续输入获取我们想要的网页

r = requests.get('//unsplash.com') #像目标url地址发送get请求，返回一个response对象
print(r.text) #r.text是http response的网页HTML

点击运行该代码

页面下方得到运行结果

以上用了get请求，我们可以继续输入下方代码查看类型
向网站发送了一个get请求，然后网站会返回一个response，r 就是response

print(type(r))

可以看到输出结果如下

建议大家多看看Requests库官方文档

没有别的指南了，你现在要靠自己了

祝你好运

Tags: Python 爬虫