一款讓Python開發效率提升50%的工具包

2020 年 7 月 8 日
AI

依賴管理一直都在編程語言中佔據着至關重要的地位，無論是Python、JavaScript還是Java、Go。

雖然不同編程語言的依賴管理工具不盡相同，但是它們追求的目標都是大同小異的。能夠對項目以來進行更加輕鬆統一的管理，能夠更加便捷的進行項目遷移和部署。

因此，就出現了maven、npm、pip這些依賴包管理工具，但是，對比於Java和JS，Python在依賴管理方面更加特殊。所以，先後出現了多款不同的管理工具，每一次升級都是為了更好的做好Python的依賴包管理工具。

Python在依賴包管理方面主要的特殊性就來自於，不僅需要考慮項目以來的第三方包，還要着重考慮虛擬環境。這一點，是由於Python和Java、JS這些編程語言本質上存在差異導致的。

Java、JS是以項目進行隔離，每當開發一個項目，依賴包都是安裝在項目工程路徑下。每個工程之間是隔離的，這樣，即便是不同工程用到同一個包的不同版本，它們之間也不會產生衝突。

但是，Python則不同，在Python中無法通過工程對依賴包進行隔離。

當我們之間使用pip安裝第三方包時，所有的依賴都會安裝到安裝目錄下的site-packages。

試想一下，如果我們開發A工程，用到了TensorFlowv0.1。但是，開發B工程，需要用到TensorFlowv0.2。這時候，site-packages下的依賴包就會產生衝突，後面安裝的依賴包就會把前面已經安裝的版本卸載掉然後再安裝新版本依賴包。

顯然，這樣是非常不友好的。

為了解決這個問題，虛擬環境就起到了至關重要的作用。

在開發不同的工程時，可以創建並激活不同的虛擬環境。這樣，不同的工程就會用到不同環境下的解析器，我們也可以把依賴包安裝到不同虛擬環境的site-packages路徑下。

因此，在Python中依賴管理一般指代依賴管理+虛擬環境。

以往，針對Python依賴管理和虛擬環境經常會用到2個工具：pip和virtualenv。

其中pip用於依賴包的管理，virtualenv用於虛擬環境的管理。

這樣雖然解決了不同工程之間環境隔離的問題，但是也存在着明顯的不足：

需要同時依賴2款管理工具
不能動態更新requirements.txt

其中比較突出的問題就是第2點。

在工程開發過程中，需要一個配置文件來記錄依賴包和環境參數，例如，maven的pom.xml、npm的package.json。

而在Python中常用的就是requirements.txt。

這種純文本的格式只能用於記錄依賴包的名稱，而不能像yaml、json、xml這些文本存儲格式一樣記錄更多環境參數信息。

另外，更致命的一點就是，每次導出依賴包都需要手動執行pip freeze > requirements.txt命令。很明顯，這樣是非常不合理的。試想一下，如果由於忙碌忘記手動執行這項操作，那麼費九牛二虎之力部署到生產環境之後發現報錯，這樣會造成很大的損失。

因此，pipenv就誕生了。

pipenv

pipenv是由requests、flask等知名工具包的作者Kenneth Reitz於2017年發佈的一款Python依賴包管理工具。

pipenv可以看成是pip+virtualenv兩款工具的合體，它集合了pip的依賴包管理和virtualenv虛擬環境管理於一身。另外，在依賴包記錄方面使用Pipfile替代原來的requirements.txt。而且，它能夠自動記錄並更新記錄文件，這樣就不再需要手動執行命令來更新requirements.txt。

pipenv的出現的確大大降低了Python依賴包管理的複雜度，提升了項目開發、工程遷移的效率。

因此，近幾年關於pipenv的評價一直都非常好，各大內容平台對於pipenv稱頌的文章更是多如牛毛。

但是，我至今沒有成為pipenv的忠實用戶，而且，也不會選擇pipenv來代替原來pip+virtualenv的方案。

我相信，那些滿篇稱頌pipenv的作者也未必是它的忠實用戶。

不可否認，pipenv在Python依賴包管理方面提供了一個很好的解決方案。但是，它依然有一些致命的缺陷，比原來pip+virtualenv方案的繁瑣、手動操作更為棘手。

Lock速度緩慢
強行更新不相干依賴
依賴處理效果較差

這裡舉個例子來解釋一下第3點。

使用pipenv安裝一個包，

$ pipenv install oslo.utils==1.4.0

這時候就會發生報錯，

Could not find a version that matches pbr!=0.7,!=2.1.0,<1.0,>=0.6,>=2.0.0

這個報錯的含義是無法找到合適版本的pbr，即便是有合適的版本，pipenv也會簡單粗暴的拋出錯誤，無法完成依賴包的處理和安裝。

這時，更為優秀的工具包出現了，它就是poetry。

poetry

poetry是一款可以管理Python依賴、環境，同時可以用於Python工程打包和發佈的一款第三方工具包。

poetry通過配置文件pyproject.toml來完成依賴管理、環境配置、基本信息配置等功能。相當於把Python項目中的Pipfile、setup.py、setup.cfg、requirements.txt、MANIFEST.in融合到一起。

通過pyproject.toml文件，不僅可以配置依賴包，還可以用於區分開發、測試、生產環境、配置源路徑。

為什麼選擇poetry?

poetry相比於pipenv具有很多明顯優勢的功能：

更強大的依賴處理功能
易於打包和構建Python工程
易於發佈工具包
結構化展示依賴關係

更強大的依賴處理功能

以前面介紹pipenv的例子來介紹poetry在依賴處理方面的強大之處。

pipenv在安裝工具包遇到直觀的問題時會直接報錯，並終止。

而使用poetry安裝則不會，

$ poetry add oslo.utils=1.4.0
  - Installing pytz (2018.3)
  - Installing netifaces (0.10.6)
  - Installing netaddr (0.7.19)
  - Installing oslo.i18n (2.1.0)
  - Installing iso8601 (0.1.12)
  - Installing six (1.11.0)
  - Installing babel (2.5.3)
  - Installing pbr (0.11.1)
  - Installing oslo.utils (1.4.0)

poetry在遇到pbr (>=0.6,!=0.7,<1.0)這個限定條件時，它會嘗試去安裝最新的pbr(0.11.1版)，同時會選擇oslo.i18n==3.20.0，但是，這時候發現oslo.i18n的版本和pbr最新版本衝突。如果在pipenv中則會報錯。但是poetry會嘗試找出解決方案，最後發現oslo.i18n==2.1.0時可以滿足所有相互依賴關係的要求。最終，成功安裝依賴包。

易於打包和構建Python工程

在工程開發過程中，項目遷移和工程化部署是無法繞開的問題。

如果需要把我們的工程部署到生產環境服務器上，這時候就需要用到Python的打包和安裝功能。

在以往，會寫繁瑣的setup.py、setup.cfg。而在poetry中，一行命令就可以解決，

$ poetry build

Building poetry (1.0.0)
- Building sdist
- Built poetry-1.0.0.tar.gz

- Building wheel
- Built poetry-1.0.0-py2.py3-none-any.whl

易於發佈工具包

如果想要把工程發佈到PyPI倉庫怎麼辦？

在poetry中，只需要簡單配置一下pyproject.toml，就可以實現一行命令發佈工具包，

$ poetry publish

Publishing poetry (1.0.0) to PyPI

  - Uploading poetry-1.0.0.tar.gz 100%
  - Uploading poetry-1.0.0-py2.py3-none-any.whl 58%

結構化展示依賴關係

Python是一款對第三方工具包依賴很強的一種編程語言，一個項目中會用到很多款不同的工具包，而這些包的依賴關係是什麼樣的，很多開發者對其了解卻很少。

poetry可以實現結構化展示每個工具包的依賴關係，讓工程的依賴一目了然，

$ poetry show --tree
requests-toolbelt 0.8.0 A utility belt for advanced users...
└── requests <3.0.0,>=2.0.1
    ├── certifi >=2017.4.17
    ├── chardet >=3.0.2,<3.1.0
    ├── idna >=2.5,<2.7
    └── urllib3 <1.23,>=1.21.1

$ poetry show --latest
pendulum 2.0.4   1.4.5 Python datetimes made easy.
django   1.11.11 2.0.3 A high-level Python Web framework ...
requests 2.18.4  2.18.4 Python HTTP for Humans.

如何使用poetry？

安裝

poetry提供多種安裝方式，個人推薦從以下2種方式中選擇：

方式一：（推薦）

$ curl -sSL //raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python

方式二：（pip）

$ pip install --user poetry

工程初始化

如果當前還沒有創建工程，可以使用poetry新建工程：

$ poetry new poetry-demo

這時候，會創建一個包含如下內容的工程，

poetry-demo
├── pyproject.toml
├── README.rst
├── poetry_demo
│   └── __init__.py
└── tests
    ├── __init__.py
    └── test_poetry_demo.py

除了新建工程，還可以在已有工程的基礎上進行創建，

$ poetry init

這時候，它會讓你輸入包名稱、版本號等信息，你可以選擇輸入，也可以選擇按下ENTER鍵使用默認值。

依賴包管理

安裝依賴包

可以使用add命令來安裝一款Python工具包，

$ poetry add numpy

還可以，通過添加配置參數--dev來區分不同環境下的依賴包。

可以使用install命令直接解析並安裝pyproject.toml的依賴包，

$ poetry install

更新依賴包

更新所有鎖定版本的依賴包，

$ poetry update

更新指定依賴包，

$ poetry update numpy

卸載依賴包

$ poetry remove numpy

虛擬環境管理

創建虛擬環境

創建虛擬環境有2種方式：

方式1：

如果在配置文件中配置了virtualenvs.create=true，執行poetry install時會檢查是否有虛擬環境，否則會自動創建。

方式2：

利用poetry env use命令，

$ poetry env use python3.7

激活虛擬環境

$ poetry shell

查看虛擬環境信息

$ poetry env info

顯示虛擬環境列表

$ poetry env list

刪除虛擬環境

$ poetry env remove python3.7

結語

poetry或許目前依然存在着某些不足之處，但是，它的確提供了一套當前最為完善的Python依賴包管理解決方案。相對與當前的pip、pipenv具有很多顯而易見的優勢，而在GitHub上該項目也已經獲得高達11.2k顆star。

如果喜歡嘗鮮，可以嘗試使用poetry替換pip+virtualenv或者pipenv進行依賴包管理和虛擬環境管理。很多新事物的出現，都會伴隨着一些學習成本，例如，Java的spring boot、JS的umi。剛開始會耗費很多精力去理解這些新鮮事物，但是一旦熟悉它的使用，就會發現會大大提升開發效率。