python实战|用scrapy爬取当当网数据

  • 2019 年 10 月 4 日
  • 筆記

1

说在前面的话

在上一篇文章中我们介绍了scrapy的一些指令和框架的体系,今天咱们就来实战一下,用scrapy爬取当当网(网站其实大家可以随意找,原理都是一样)的数据。废话不多说,看下面↓

2

思路分析

当当网:

上图就是所谓的当当网,一个电商网站,我们随意找一个类别来进行爬取吧

就拿手机的界面来说事!

我们来抓取下图中红框的数据:

其实就三个数据,一个手机的名称以及相关的链接和评论的数量

大家可以从上图中可以看到这几个数据的标签位置,我们就可以直接通过xpath来进行简单的提取,xpath很简单,不会的朋友百度一下就明白了。

我们爬取完这些数据后就把这些数据存储到数据库当中。

3

正式操作啦

首先,因为我们要抓取网页中的标题、链接和评论数,所以我们首先得写items.py(具体的作用,我上篇文章有讲,大家可以去看一下):

# -*- coding: utf-8 -*-    # Define here the models for your scraped items  #  # See documentation in:  # https://doc.scrapy.org/en/latest/topics/items.html    import scrapy      class DangdangItem(scrapy.Item):      # define the fields for your item here like:      # name = scrapy.Field()      title = scrapy.Field()      link = scrapy.Field()      comment = scrapy.Field()

我们需要抓取什么数据就调用scrapy.Field()这个方法在上面的注释中官方有给出。

我们在这里添加完我们需要爬取的哪些数据后,我们在转向我们的爬虫文件,我们通过 scrapy genspider dd dangdang.com 创建了一个爬虫文件dd.py:

# -*- coding: utf-8 -*-  import scrapy  # 我们需要导入这个项目里的items.py中的类  from dangdang.items import DangdangItem  # 导入scrapy中的Request  from scrapy.http import Request  '''  爬取当当网上的链接等信息  '''  class DdSpider(scrapy.Spider):      # 这里是爬虫的名称      name = 'dd'      # 这里是域名      allowed_domains = ['dangdang.com']      # 这里是我们要爬取的界面      start_urls = ['http://category.dangdang.com/pg1-cid4004279.html']        def parse(self, response):          # 实例化对象          item = DangdangItem()          # 通过分析标签,我们可以依次得到相关的数据,并将它们赋值给item类中          item["title"] = response.xpath("//a[@name='itemlist-title']/@title").extract()          item["link"] = response.xpath("//a[@name='itemlist-title']/@href").extract()          item["comment"] = response.xpath("//a[@name='itemlist-review']/text()").extract()          # 提交数据,把数据传送给item类          yield item

我把每一句话的解释都写在注解里了,其实这个爬虫文件才是真正的进行了爬取工作,它把爬取的数据全部传送给我们之前写的item.py里的类中,然后我们最后如果需要对数据进行处理,我们就需要进入pipelines.py进行数据的处理(比如添加到数据库或者写入txt中等等操作),接下来我们需要把我们所需要的数据存放至数据库。

在这之前我们需要进行两个操作!首先进入settings.py中,我们知道这里是我们整个项目的管理文件,我们找到如下代码:

# ITEM_PIPELINES = {      # 'dangdang.pipelines.DangdangPipeline': 300,  # }

我们要把这里的注释给去掉,因为我们要去使用pipelines文件进行数据的处理,去掉之后:

ITEM_PIPELINES = {      'dangdang.pipelines.DangdangPipeline': 300,  }

第二个也是在settings.py文件中:

ROBOTSTXT_OBEY = True

我们需要把它修改成False,因为大部分网站都是存在robots文件的,如果为true代表着我们遵循robots规则,这样会导致我们很多页面无法爬取,所以需要把它设置成False。

上面这两步处理之后,我们就可以正式写pipelines.py文件了(也就是可以正式操作数据了)

# -*- coding: utf-8 -*-  # 导入 pymysql库,这是python用于连接mysql数据库的专用库  import pymysql  # Define your item pipelines here  #  # Don't forget to add your pipeline to the ITEM_PIPELINES setting  # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html      class DangdangPipeline(object):      def process_item(self, item, spider):          #连接数据库操作          conn = pymysql.connect("localhost", "root", "LS985548459", "dangdang", charset='utf8')          # 循环          for i in range(0, len(item["title"])):              # 获取每个标题              title = item["title"][i]              # 获取每个链接              link = item["link"][i]              # 获取每个评论              comment = item["comment"][i]              # 使用mysql语句进行插入数据表              sql = "insert into goods(title,link,comment) values ('"+title+"','"+link+"','"+comment+"');"              try:                 #执行sql语句                 conn.query(sql)                 #提交语句,这句话必须写,否则无法成功!                 conn.commit()              except Exception as e:                  print(e)          # 关闭连接          conn.close()          return item

同样我把每一行的解释都写在了注释里面,如仍有疑问的,可以私聊我~

最后我们通过 scrapy crawl dd –nolog 运行一下我们的爬虫,运行完后,打开我们的数据库,发现已经完成添加了!

4

结尾

其实整个项目下来,我们会发现我们的思路很清晰,因为scrapy框架它把每一个步骤分解到不同的文件中解决,这样更有利于我们去写好整个项目,所以这里也要为scrapy框架的开发人员致谢!

由于最近确实很忙,文章可能写的有点急,如果文章中有错误,请私聊我指出,万分感谢!