Crawlab Lite 正式發布，更輕量的爬蟲管理平台

• 2020 年 7 月 15 日
• 筆記
• Go, golang, 開源, 爬蟲

Crawlab 是一款基於 Golang 的分散式爬蟲管理平台，產品發布已經一年有餘，經過開發團隊的不斷打磨，即將迭代到 v0.5 版本。在這期間我們為 Crawlab 加入了大量社區用戶共同期望的功能，使產品更加專業。但與此同時我們也注意到，部分用戶並不是分散式爬蟲用戶，他們更多只是在單機情況下使用 Crawlab。其次目前 Crawlab 逐步加入了豐富的功能，也使整個產品逐漸巨化，大部分用戶並不能充分使用所有的功能。

因此 Crawlab Lite 作為 Crawlab 的輕量化版本正式發布，相較於 Crawlab，該版本將專註於解決單機環境下的爬蟲管理，並且平台本身不再依賴任何外部資料庫，現有以及未來加入的功能都僅限於高頻使用的必需功能，做到最大化的功能剋制。

功能特性

首次發布的版本為 v0.0.1 版本，該版本作為首個體驗版本，已經具備了 Lite 版規劃的核心功能，相較於 Crawlab 主要區別：

• 僅支援單機環境下的爬蟲管理，不再具備分散式功能
• 內置依賴 Key-Value 文件資料庫，運行不再需要配置外部資料庫
• 刪減了大量非必需的功能，平台更加輕量與易用
• 後端程式碼大量重構，平台的穩定和速度大幅提升

運行方式

我們依然保留通過 docker-componse 這種最方便的方式：

1. 在任意目錄下創建 docker-compose.yml，內容如下：

version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"

2. 在目錄下運行命令：

docker-compose up -d

3. 訪問 //localhost:8080

項目地址

//github.com/crawlab-team/crawlab-lite

項目截圖