scrapy的簡單使用

• 2020 年 1 月 26 日
• 筆記

使用之前的創建虛擬環境方法（pipenv）

創建虛擬環境並進入虛擬環境

mkdir douban  cd douban  pipenv install  pipenv shell

再安裝我們的scrapy

pipenv install scrapy

然後創建項目

scrapy startproject doubanmovie  cd doubanmovie  scrapy genspider douban_movie （這裡加入你想要爬的網站url）

再使用pychram打開這個目錄

寫好程式碼後在pycharm下方點擊終端輸入

scrapy crawl douban_movie  scrapy crawl douban_movie -o detail.json #為json格式保存  scrapy crawl douban_movie -o detail.jl #以行的形式保存  scrapy crawl douban_movie -o detail.csv #以csv文件格式保存  scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

運行任務

簡單使用結束