• 2021 年 5 月 8 日
• 筆記

阳光热线问政平台： //wz.sun0769.com/political/index/politicsNewest?id=1&page=1 爬取最新问政帖子的编号、投诉标题、投诉内容以及处理状态，并存入到Mongodb数据库中。 1、创建项目 scrapy startproject myProjec …

• 2021 年 2 月 4 日
• 筆記

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，可以按指定的命令自动操作，但是他需要与第三方浏览器结合在一起才能使用。如果我们把 Selenium和第三方浏览器（比如Chrome）结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Co …

• 2021 年 1 月 24 日
• 筆記

Beautiful Soup 是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 一、安装 pip install beautifulsoup4 二、使用 导入模块 from bs4 import BeautifulSoup 创建BeautifulSoup对象 I …

• 2021 年 1 月 17 日
• 筆記

一、什么是正则表达式？ 正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 二、正则表达式的匹配规则 …

• 2021 年 1 月 15 日
• 筆記

urllib3是一个功能强大，对SAP健全的 HTTP客户端，许多Python生态系统已经使用了urllib3。 一、安装 sudo pips install urllib3 二、创建PoolManager对象 通过urllib3访问网页，首先需要构造一个PoolManager实例对象用于处理与线程 …

• 2021 年 1 月 14 日
• 筆記

urllib是Python中请求url连接的官方标准库，在Python3中将Python2中的urllib和urllib2整合成了urllib。urllib中一共有四个模块，分别如下： request：主要负责构造和发起网络请求,定义了适用于在各种复杂情况下打开 URL (主要为 HTTP) 的函数 …