scrapy爬取京東iPhone11評論(一)

  • 2019 年 11 月 7 日
  • 筆記

諮詢行業中經常接觸到文本類資訊,無論是分詞做詞雲圖,還是整理編碼分析用,都非常具有價值。

本文將記錄使用scrapy框架爬取京東IPhone11評論的過程,由於一邊學習一邊實踐,更新稍慢請見諒。

1.scrapy開始創建項目:

scrapy startproject projectName

 

2. 進入創建的項目目錄:

cd projectName

3.以默認的basic模板創建第一個爬蟲:

scrapy genspider spiderName www.hostDomain.com

 

 好的,這樣基本目錄就建立起來了,目錄結構如下:

 

 

接下來在與spider同名文件(iphone11.py)里就可以編輯正式爬蟲程式碼了。