爬取python書籍一百頁

• 2019 年 10 月 6 日
• 筆記

概要：利用selenium庫爬取京東python書籍一百頁存入csv

如果不知道selenium的基本操作，這裡獻上鏈接：selenium的使用（有點意思）

1、分析頁面。

我們以前利用requests庫等獲取獲取很麻煩。

利用selenium庫可以省很多事情，我們只需要獲取點擊到下一頁，

爬取我們需要的商品資訊，存入csv。

所以我們要寫三個方法來實現。

2、實現獲取商品資訊get_products方法。

我們需要抓取，編號，書名，價格，評價數量，出版社，

我們打開京東頁面，切換到開發者模式，如圖：

1. 所有的商品都有一個類名：gl-item
2. data-sku為一個編號，後面的class名需要用到。
3. 價格的class是J_加上編號
4. 評價數的id是J_comment_加上編號
5. 書名的class是p-name
6. 出版社的class是curr-shop

於是乎我們可以實現get_products獲取商品的資訊：

3、實現點擊下一頁

4、存入csv

存數據鏈接：數據的存儲（一）

5、完咯