Python Scrapy 爬蟲框架 | 4、數據項介紹和導出文件

• 2019 年 12 月 30 日
• 筆記

0x00 前言

通過上文的內容，已經把部落格文章的標題及目錄爬取下來了，接下來為了方便數據的保存，我們可以把這些文章的標題及目錄給包裝成一個數據項，也就是 items。

0x01 配置 item

先來到 items.py 文件下，對標題及目錄的資訊進行包裝，為了對這些資訊進行區別，還需要有一個 id，所以程式碼如下：

class TeamssixItem(scrapy.Item):      _id = scrapy.Field()      title = scrapy.Field()      list = scrapy.Field()

編輯好 items.py 文件後，來到 teamssix_blog_spider.py 先把剛才編輯的內容引用進來。

from teamssix.items import TeamssixItem

接著創建一個 item ，並拋出 item ，這時這個 item 就會進入到 item pipelines 中處理。

item = TeamssixItem(_id = response.url,title = title,list = list)  yield item

0x02 運行

程式中包含 item 的好處就在於可以直接把運行結果輸出到文件中，直接 -o 指定導出文件名，scrapy 支援導出 json 、jsonlines 、jl 、csv 、xml 、marshal 、pickle 這幾種格式。

scrapy crawl blogurl -o result.json

另外如果發現導出文件亂碼，只需要在 settings.py 文件中添加下面一行程式碼即可。

FEED_EXPORT_ENCODING = "gb18030"

運行結果如下：

~# scrapy crawl blogurl -o result.json  ~# cat result2.json  [  {"_id": "https://www.teamssix.com/year/191224-093319.html", "title": "【Python Scrapy 爬蟲框架】 2、利用 Scrapy 爬取我的部落格文章標題鏈接", "list": ["0x00 新建項目", "0x01 創建一個爬蟲", "0x02   運行爬蟲", "0x03 爬取內容解析"]},  {"_id": "https://www.teamssix.com/year/191127-201447.html", "title": "【漏洞筆記】Robots.txt站點文件", "list": ["0x00 概述", "0x01 漏洞描述", "0x02 漏洞危害", "0x03 修復建議"]},  ……省略……

可以很明顯的感受到使用 scrapy 可以很方便的將數據導出到文件中，下一篇文章將介紹如何導出到 MongoDB資料庫中。

參考鏈接： https://youtu.be/aDwAmj3VWH4 http://doc.scrapy.org/en/latest/topics/architecture.html