Python3網路爬蟲實戰-14、部署相

• 2020 年 1 月 3 日
• 筆記

Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個調度的 HTTP 介面，有了它我們不需要再執行 Scrapy 命令而是通過請求一個 HTTP 介面即可調度 Scrapy 任務，Scrapyrt 比 Scrapyd 輕量級，如果不需要分散式多任務的話可以簡單使用 Scrapyrt 實現遠程 Scrapy 任務的調度。

1. 相關鏈接

• GitHub：https://github.com/scrapinghu...
• 官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執行完畢之後即可完成安裝。

接下來在任意一個 Scrapy 項目中運行如下命令即可啟動 HTTP 服務：

scrapyrt  Python資源分享qun 784758214 ,內有安裝包，PDF，學習影片，這裡是Python學習者的聚集地，零基礎，進階，都歡迎

運行之後會默認在 9080 埠上啟動服務，類似的輸出結果如下：

scrapyrt  2017-07-12 22:31:03+0800 [-] Log opened.  2017-07-12 22:31:03+0800 [-] Site starting on 9080  2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

如果想更換運行埠可以使用 -p 參數，如：

scrapyrt -p 9081

這樣就會在 9081 埠上運行了。

3. Docker安裝

另外 Scrapyrt 也支援 Docker，如想要在 9080 埠上運行，且本地 Scrapy 項目的路徑為 /home/quotesbot，可以使用如下命令運行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 埠上監聽指定的 Scrapy 項目。

Gerapy的安裝

Gerapy 是一個 Scrapy 分散式管理模組，本節來介紹一下 Gerapy 的安裝方式。

1. 相關鏈接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy

3. 測試安裝

安裝完成之後，可以在 Python 命令行下測試。

$ python3  >>> import gerapy  Python資源分享qun 784758214 ,內有安裝包，PDF，學習影片，這裡是Python學習者的聚集地，零基礎，進階，都歡迎

如果沒有錯誤報出，則證明庫已經安裝好了。