爬虫(17) – 面试(2) | 爬虫面试题库

1.什么是爬虫

爬虫就是爬取网页数据,只要网页上有的,都可以通过爬虫爬取下来,比如图片、文字评论、商品详情等。

一般二言,Python爬虫需要以下几步:

  1. 找到网页URL,发起请求,等待服务器响应
  2. 获取服务器响应内容
  3. 解析内容(正则表达式、xpath、bs4等)
  4. 保存数据(本地文件、数据库等)

 

2.爬虫的基本流程

  1. 找到网页URL,发起请求,等待服务器响应
  2. 获取服务器响应内容
  3. 解析内容(正则表达式、xpath、bs4等)
  4. 保存数据(本地文件、数据库等)

 

3.正则表达式贪婪与非贪婪模式的区别

1)什么是贪婪匹配与非贪婪匹配

  • 贪婪匹配在匹配字符串时总是尝试匹配尽可能多的字符
  • 与贪婪匹配相反,非贪婪匹配在匹配字符串时总是尝试匹配尽可能少的字符

2)区别

  • 在形式上,非贪婪模式有一个“?”作为该部分的结束标志
  • 在功能上,贪婪模式是尽可能多的匹配当前正则表达式,可能会包含好几个满足正则表达式的字符串;非贪婪模式,在满足所有正则表达式的情况下尽可能少的匹配当前正则表单式

3)拓展

  • *? 重复任意次,但尽可能少重复
  • +? 重复1次或更多次,但尽可能少重复
  • ?? 重复0次或1次,但尽可能少重复
  • {n,m}? 重复n到m次,但尽可能少重复
  • {n,}? 重复n次以上,但尽可能少重复

 

4.re模块中match与search的区别

1)相同点:都是在一个字符串中寻找子字符串,如果能找到,就返回一个Match对象,如果找不到,就返回None。

2)不同点:mtach() 方法是从头开始匹配,而 search() 方法,可以在字符串的任一位置查找。

 

5.正则表达式如何实现字符串的查找和替换

1)查找:findall()函数

re.findall(r"目标字符串",“原有字符串”)
re.findall(r"张三",“I love 张三”)[0]

2)替换:sub()函数

re.sub(r"要替换原字符",“要替换新字符”,“原始字符串”)
re.sub(r"李四",“python”,“I love 李四”)

 

6.写出匹配ip的正则表达式

1)ip 地址格式:(1-255).(0-255).(0-255).(0-255)

2)对应的正则表达式

  • “^(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|[1-9])\.”
  • +”(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d)\.”
  • +”(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d)\.”
  • +”(1\d{2}|2[0-4]\d|25[0-5]|[1-9]\d|\d)$”

3)解析

  • \d 表示 0~9 的任何一个数字
  • {2} 表示正好出现两次
  • [0-4] 表示 0~4 的任何一个数字
  • | 或者
  • 小括号( )不能少,是为了提取匹配的字符串,表达式中有几个()就表示有几个相应的匹配字符串
  • 1\d{2}:100~199之间的任意一个数字
  • 2[0-4]\d:200~249之间的任意一个数
  • 25[0-5]:250~255之间的任意一个数字
  • [1-9]\d:10~99之间的任意一个数字
  • [1-9]:1~9之间的任意一个数字
  • \.:转义点号.

 

7.写一个邮箱地址的正则表达式

[A-Za-z0-9_-][email protected][a-zA-Z0-9_-]+(.[a-zA-Z0-9_-]+)+$

 

8.group和groups的区别

  • 1)m.group(N) 返回第N组匹配的字符
  • 2)m.group() == m.group(0) == 所有匹配的字符
  • 3)m.groups() 返回所有匹配的字符,以tuple(元组)格式
  • m.groups() == (m.group(0), m.group(1),……)

 

9.requests请求返回的content和text的区别

1)返回类型不同

response.text 返回的是 Unicode 型数据,response.content 返回的是 bytes 类型,也就是二进制数据

2)使用场景不同

获取文本使用,response.text,获取图片和文件,使用 response.content

3)修改编码方式不同

  • response.text类型:str,根据 HTTP 头部对响应的编码作出有根据的推测
    • 修改编码方式:response.encoding=”gbk”
  • response.content类型:bytes,没有指定解码类型
    • 修改编码方式:response.content.decode(“utf8”)

 

10.urllib和requests模块的区别

1)urllib是python内置的包,不需要单独安装

2)requests是第三方库,需要单独安装

3)requests库是在urllib的基础上封装的,比urllib模块更加好用

4)requests可以直接发起get、post请求,urllib需要先构建请求,然后再发起请求

 

11.为什么requests请求需要带上header?

1)原因:模拟浏览器,欺骗服务器,获取和浏览器一致的内容

2)header格式:字典

headers = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36”}

3)用法:requests.get(url, headers=headers)

 

12.requests模块有哪些使用小技巧?

1)reqeusts.util.dict_from_cookiejar 把 cookie 对象转化为字典

2)设置请求不用 SSL 证书验证

response = requests.get("//www.12306.cn/mormhweb/ ", verify=False)

3)设置超时

response = requests.get(url, timeout=10)

4)配合状态码判断是否请求成功

response.status_code == 200

 

13.json模块dumps、loads与dump、load方法的区别

  • json.dumps(),将 python 的 dict 数据类型编码为 json 字符串
  • json.loads(),将 json 字符串解码为 dict 的数据类型
  • json.dump(x, y),x 是 json 对象,y 是文件对象,最终是将 json 对象写入到文件中
  • json.load(y),从文件对象 y 中读取 json 对象

 

14.常见的HTTP请求方法有哪些?

  • GET:请求指定的页面信息,返回实体主体
  • HEAD:类似于get请求,只不过返回的响应中没有具体的内容,用于捕获报头
  • POST:向指定资源提交数据进行处理请求(比如表单提交或者上传文件),数据被包含在请求体中
  • PUT:从客户端向服务端传送数据取代指定的文档的内容
  • DELETE:请求删除指定的页面
  • CONNNECT:HTTP1.1协议中预留给能够将连接方式改为管道方式的代理服务器
  • OPTIONS:允许客户端查看服务器的性能; TRACE:回显服务器的请求,主要用于测试或者诊断

 

15.HTTPS协议有什么优点和缺点?

1)优点

  • 使用 HTTPS 协议可认证用户和服务器,确保数据发送到正确的客户机和服务器
  • HTTPS 协议是由 SSL+HTTP 协议构建的可进行加密传输、身份认证的网络协议,要比 http协议安全,可防止数据在传输过程中不被窃取、改变,确保数据的完整性
  • HTTPS 是现行架构下最安全的解决方案,虽然不是绝对安全,但它大幅增加了中间人攻击的成本

2)缺点

  • HTTPS 协议的加密范围也比较有限,在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用
  • HTTPS 协议还会影响缓存,增加数据开销和功耗,甚至已有安全措施也会受到影响也会因此而受到影响
  • SSL 证书需要钱,功能越强大的证书费用越高,个人网站、小网站没有必要一般不会用
  • HTTPS 连接服务器端资源占用高很多,握手阶段比较费时对网站的相应速度有负面影响
  • HTTPS 连接缓存不如 HTTP 高效

 

16.HTTP通信组成

HTTP通信由两部分组成:客户端请求消息与服务器响应消息。

 

17.robots.txt协议文件有什么作用?

搜索引擎访问一个网站的时候,最先访问的文件就是robots.txt,网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

 

18.robots.txt文件放在哪里?

此文件需放置在网站的根目录,且对字母大小写有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写,且命令之后要有一个英文字符空格。

 

19.怎么书写Robots协议?

  • User-agent:表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度
  • Disallow:表示禁止访问
  • Allow:表示运行访问

 

20.谈谈你对多进程,多线程,以及协程的理解,项目中是否使用?

  • 进程:一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,开销大。
  • 线程:调度执行的最小单位,也叫执行路径,不能独立存在,依赖进程存在一个进程至少有一个线程,叫主线程,而多个线程共享内存(数据共享,共享全局变量),从而极大地提高了程序的运行效率。
  • 协程:是一种用户态的轻量级线程,协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。
  • 项目中有使用多线程爬取数据,提升效率。

 

21.线程的执行顺序

  • 新建:线程创建(t=threading.Thread(target=方法名)或者线程类)
  • 就绪:当启动线程后,线程就进入就绪状态,就绪状态的线程会被放到一个CPU调度队列里面,cpu会负责让其中的线程运行,变为运行状态
  • 运行状态:CPU调度一个就绪状态的线程,该线程就变为运行状态
  • 阻塞状态:当运行状态的线程被阻塞变为阻塞状态,阻塞状态的线程就会重新变为就绪状态才能继续运行
  • 死亡状态:线程执行完毕

 

22.多线程和多进程的优缺点

1)多线程的优点

  • 程序逻辑和控制方式复杂
  • 所有线程可以直接共享内存和变量
  • 线程方式消耗的总资源比进程方式好

2)多线程缺点

  • 每个线程与主程序共用地址空间,受限于2GB地址空间
  • 线程之间的同步和加锁控制比较麻烦
  • 一个线程的崩溃可能影响到整个程序的稳定性

3)多进程优点

  • 每个进程互相独立,不影响主程序的稳定性,子进程崩溃没关系
  • 通过增加CPU,就可以容易扩充性能
  • 每个子进程都有2GB地址空间和相关资源,总体能够达到的性能上限非常大

4)多进程缺点

  • 逻辑控制复杂,需要和主程序交互
  • 需要跨进程边界,如果有大数据量传送,就不太好,适合小数据量传送、密集运算
  • 多进程调度开销比较大

在实际开发中,选择多线程和多进程应该从具体实际开发来进行选择,最好是多进程和多线程结合。

 

23.写爬虫是用多进程好?还是多线程好?为什么?

IO 密集型代码(文件读写处理、网络爬虫等),多线程能够有效地提升效率。单线程下有 IO 操作会进行 IO 等待,造成不必要的时间浪费,而开启多线程能在线程 A 等待时,自动切换到线程 B,可以不浪费 CPU等资源,从而能提升程序执行效率。

在实际的数据采集过程中,既考虑网速和响应的问题,也需要考虑自身机器的硬件情况,来设置多进程或多线程。

多进程适合在 CPU 密集型操作(cpu 操作指令比较多,如位数多的浮点运算)。多线程适合在 IO 密集型操作(读写数据操作较多的,比如爬虫)。

 

24.什么是多线程竞争?

线程是非独立的,同一个进程里线程是数据共享的,当各个线程访问数据资源时会出现竞争状态,即数据几乎同步会被多个线程占用,造成数据混乱,即所谓的线程不安全。

那么怎么解决多线程竞争问题? ——锁。

 

25.什么是锁,以及锁的优劣之处

锁(Lock)是 Python 提供的对线程控制的对象。

  • 锁的好处:确保了某段关键代码(共享数据资源)只能由一个线程从头到尾完整地执行,能解决多线程资源竞争的问题。
  • 锁的坏处:阻止了多线程并发执行,包含锁的某段代码实际上只能以单线程模式执行,效率就大大地下降了。
  • 锁的致命问题:死锁。

 

26.什么是死锁?

若干子线程在系统资源竞争时,都在等待对方对某部分资源解除占用状态,结果是谁也不愿先解锁,互相干等着,程序无法执行下去,这就是死锁。

 

27.XPath解析数据使用什么库

XPath解析数据需要依赖于lxml库。

 

28.用于网络爬虫的XPath的主要语法

  • . 选取当前节点
  • … 选取当前节点的父节点
  • @ 选取属性
  • * 任意匹配,//div/*,div下的任意元素
  • // 从匹配选择的当前节点选择文档中的节点,不考虑他们的位置
  • //div 选取所有的div
  • //div[@class=”demo”] 选取class为demo的div节点

 

29.Mysql,Mongodb,redis三个数据库的理解

1)MySQL 数据库:开源免费的关系型数据库,需要实现创建数据库、数据表和表的字段,表与表之间可以进行关联(一对多、多对多),是持久化存储

2)Mongodb 数据库:是非关系型数据库,数据库的三元素是,数据库、集合、文档,可以进行持久化存储,也可作为内存数据库,存储数据不需要事先设定格式,数据以键值对的形式存储。

3)redis 数据库:非关系型数据库,使用前可以不用设置格式,以键值对的方式保存,文件格式相对自由,主要用与缓存数据库,也可以进行持久化存储

 

30.MongoDB常见命令

  • use yourDB; 切换/创建数据库
  • show dbs; 查询所有数据库
  • db.dropDatabase(); 删除当前使用数据库
  • db.getName(); 查看当前使用的数据库
  • db.version(); 当前 db 版本
  • db.addUser(“name”); 添加用户,db.addUser(“userName”, “pwd123”, true);
  • show users; 显示当前所有用户
  • db.removeUser(“userName”); 删除用户
  • db.collectionName.count(); 查询当前集合的数据条数
  • db.collectionName.find({key:value}); 查询数据

 

31.爬虫项目为什么使用MongoDB,而不使用MySQL数据库

1)MySQL属于关系型数据库,它具有以下特点:

  • 在不同的引擎上有不同的存储方式
  • 查询语句是使用传统的sql语句,拥有较为成熟的体系,成熟度很高
  • 开源数据库的份额在不断增加,MySQL的份额也在持续增长
  • 处理海量数据的效率会显著变慢

2)Mongodb属于非关系型数据库,它具有以下特点:

  • 数据结构由键值对组成
  • 存储方式:虚拟内存+持久化
  • 查询语句是独特的Mongodb的查询方式
  • 具备高可用性
  • 数据是存储在硬盘上的,只不过需要经常读取的数据会被加载到内存中,将数据存储在物理内存中,从而达到高速读写

 

32.MongoDB的优点

面向文件、高性能、高可用、易扩展、可分片、对数据存储友好。

 

33.MongoDB支持哪些数据类型?

  • String、Integer、Double、Boolean
  • Object、Object ID
  • Arrays
  • Min/Max Keys
  • Code、Regular Expression等

 

34.MongoDB “Object ID”由哪些部分组成?

“Object ID”数据类型用于存储文档id

一共有四部分组成:时间戳、客户端ID、客户进程ID、三个字节的增量计数器

 

35.Redis数据库支持哪些数据类型?

1)String:String 是 Redis 最为常用的一种数据类型,String 的数据结构为 key/value 类型,String 可以包含任何数据。常用命令有set、get、decr、incr、mget等。

2)Hash:Hash 类型可以看成是一个 key/value 都是 String 的 Map 容器。常用命令有hget、hset、hgetall等。

3)List:List 用于存储一个有序的字符串列表,常用的操作是向队列两端添加元素或者获得列表的某一片段。常用命令有lpush、rpush、lpop、rpop、lrange等。

4)Set:Set 可以理解为一组无序的字符集合,Set 中相同的元素是不会重复出现的,相同的元素只保留一个。常用命令有sadd、spop、smembers、sunion等。

5)Sorted Set(有序集合):有序集合是在集合的基础上为每一个元素关联一个分数,Redis 通过分数为集合中的成员进行排序。常用命令有zadd、zrange、zrem、zcard等。

 

36.Redis有多少个库?

Redis 一个实例下有 16 个库,默认使用 0 库,select 1 可以切换到 1 库。

 

37.谈谈Selenium框架

Selenium 是一个 Web 的自动化测试工具,可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。Selenium 自己不带浏览器,不支持浏览器的功能,它需要与Firefox、chrome等第三方浏览器结合在一起才能使用,需要先下载浏览器的Driver。

 

38.selenium有几种元素定位方式,你最常用哪种?

1)selenium有八种定位方式

  • 和name有关的:ByName、ByClassName、ByTagName
  • 和link有关的:ByLinkText、ByPartialLinkText
  • 和id有关的:ById
  • 全能的:ByXpath和ByCssSelector

2)最常用的是ByXpath,因为很多情况下,html标签的属性不够规范,无法通过单一的属性定位,这个时候使用xpath可以去重实现定位唯一元素;事实上定位最快的应当属于ById,因为id是唯一的,然而大多数网页元素并没有设置id。

 

39.selenium使用过程中你都遇到过哪些坑,都是如何解决的?

程序运行不稳定,有时运行失败抓取不到数据

解决方法:

  • 添加元素智能等待时间 driver.implicitly_wait(30)
  • 添加强制等待时间(比如python中写time.sleep())
  • 多用 try 捕捉,处理异常,多种方式进行定位,如果第一种失败可以自动尝试第二种

 

40.driver对象有哪些常用属性和方法?

  • driver.page_source:当前标签页浏览器渲染之后的网页源代码
  • driver.current_url:当前标签页的url
  • driver.close() :关闭当前标签页,如果只有一个标签页则关闭整个浏览器
  • driver.quit():关闭浏览器
  • driver.forward():页面前进
  • driver.back():页面后退
  • driver.screen_shot(img_name):页面截图

 

41.谈谈你对 Scrapy的理解

Scrapy框架,只需要实现少量代码,就能够快速的抓取到数据内容。Scrapy 使用了 Twisted异步网络框架来处理网络通讯,可以加快下载速度,不用自己去实现异步框架,并且包含各种中间件接口,可以灵活的完成各种需求。

scrapy 框架的工作流程:

  • 1)首先Spiders(爬虫)将需要发送请求的 url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。
  • 2)Scheduler(排序,入队)处理后,经ScrapyEngine,交给Downloader。
  • 3)Downloader向互联网发送请求,并接收下载响应(response),将响应(response)经ScrapyEngine交给Spiders。
  • 4)Spiders处理response,提取数据并将数据,经ScrapyEngine交给ItemPipeline 保存(可以是本地,可以是数据库),提取url重新经ScrapyEngine交给Scheduler进行下一个循环,直到无Url请求程序结束。

 

42.Scrapy框架的基本结构

1)引擎(Scrapy):用来处理整个系统的数据流处理, 触发事务(框架核心)。

2)调度器(Scheduler):用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回。可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址。

3)下载器(Downloader):用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)。

4)爬虫(Spiders):爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

5)项目管道(Pipeline):负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。

6)下载器中间件(Downloader Middlewares):位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。

7)爬虫中间件(Spider Middlewares):介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。

8)调度中间件(Scheduler Middewares):介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。

 

43.Scrapy框架去重原理

需要将dont_filter参数设置为False,开启去重。

对于每一个url的请求,调度器都会根据请求的相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中得指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中。如果set()集合中没有,就将这个Request对象放入队列中,等待被调度。

 

44.Scrapy框架的优缺点

1)优点:

  • Scrapy 是异步的,他的异步机制是基于 twisted 异步网络框架处理的,在 settings.py文件里可以设置具体的并发量数值(默认并发量 16)
  • 采取可读性更强的xpath代替正则
  • 强大的统计和log系统
  • 同时在不同的url上爬行
  • 支持shell方式,方便独立调试
  • 写middleware,方便写一些统一的过滤器
  • 通过管道的方式存入数据库

2)缺点:

  • 不能实现分布式爬取
  • 异步框架出错后不会停掉其他任务,数据出错后难以察觉

 

45.Scrapy和requests的区别

1)scrapy 是封装起来的框架,包含了下载器、解析器、日志及异常处理,基于多线程, twisted 的方式处理,可以加快我们的下载速度,不用自己去实现异步框架。扩展性比较差,不够灵活。

2)requests 是一个 HTTP 库, 它只是用来进行请求,对于 HTTP 请求,他是一个强大的库,下载、解析全部自己处理,灵活性更高,高并发与分布式部署也非常灵活。

 

46.Scrapy和Scrapy-Redis的区别

Scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。

而Scrapy-Redis一套基于redis数据库、运行在Scrapy框架之上的组件,可以让Scrapy支持分布式策略,Slaver端共享Master端Redis数据库里的item队列、请求队列和请求指纹集合。

 

47.分布式爬虫为什么选择Redis数据库?

因为Redis支持主从同步,而且数据都是缓存在内存中的,所以基于Redis的分布式爬虫,对请求和数据的高频读取效率非常高。

Redis的优点:

  • 数据读取快,因为数据都放在内存上
  • 支持事务机制
  • 数据持久化,支持快照和日志,方便恢复数据
  • 拥有丰富的数据类型:list,string,set,qset,hash
  • 支持主从复制,可以进行数据备份
  • 丰富的特性:可以作为缓存,消息队列,设置过期时间,到期自动删除

 

48.分布式爬虫主要解决什么问题?

IP、带宽、CPU、io等问题。

 

49.Scrapy框架如何实现分布式抓取?

可以借助scrapy_redis类库来实现。

在分布式爬取时,会有master机器和slave机器,其中,master为核心服务器,slave为具体的爬虫服务器。

在master服务器上安装Redis数据库,并将要抓取的url存放到redis数据库中,所有的slave爬虫服务器在抓取的时候从redis数据库中去链接,由于scrapy-redis自身的队列机制,slave获取的url不会相互冲突,然后抓取的结果最后都存储到数据库中。master的redis数据库中还会将抓取过的url的指纹存储起来,用来去重。