Python 中 -m 的典型用法、原理解析與發展演變

2019 年 11 月 10 日
筆記

在命令行中使用 Python 時，它可以接收大約 20 個選項（option），語法格式如下：

python [-bBdEhiIOqsSuvVWx?] [-c command | -m module-name | script | - ] [args]

本文想要聊聊比較特殊的「-m」選項：關於它的典型用法、原理解析與發展演變的過程。

首先，讓我們用「–help」來看看它的解釋：

-m mod run library module as a script (terminates option list)

"mod"是「module」的縮寫，即「-m」選項後面的內容是 module（模組），其作用是把模組當成腳本來運行。

「terminates option list」意味著「-m」之後的其它選項不起作用，在這點上它跟「-c」是一樣的，都是「終極選項」。官方把它們定義為「介面選項」（Interface options），需要區別於其它的普通選項或通用選項。

-m 選項的五個典型用法

Python 中有很多使用 -m 選項的場景，相信大家可能會用到或者看見過，我在這裡想分享 5 個。

在 Python3 中，只需一行命令就能實現一個簡單的 HTTP 服務：

python -m http.server 8000    # 注:在 Python2 中是這樣  python -m SimpleHTTPServer 8000

執行後，在本機打開「http://localhost:8000」，或者在區域網內的其它機器上打開「http://本機ip:8000」，就能訪問到執行目錄下的內容，例如下圖就是我本機的內容：

與此類似，我們只需要一行命令「python -m pydoc -p xxx」，就能生成 HTML 格式的官方幫助文檔，可以在瀏覽器中訪問。

上面的命令執行了 pydoc 模組，會在 9000 埠啟動一個 http 服務，在瀏覽器中打開，我的結果如下：

它的第三個常見用法是執行 pdb 的調試命令「python -m pdb xxx.py」，以調試模式來執行「xxx.py」腳本：

第四個同樣挺有用的場景是用 timeit 在命令行中測試一小段程式碼的運行時間。以下的 3 段程式碼，用不同的方式拼接「0-1-2-……-99」數字串。可以直觀地看出它們的效率差異：

最後，還有一種常常被人忽略的場景：「python -m pip install xxx」。我們可能會習慣性地使用「pip install xxx」，或者做了版本區分時用「pip3 install xxx」，總之不在前面用「python -m」做指定。但這種寫法可能會出問題。

很巧合的是，在本月初（2019.11.01），Python 的核心開發者、第一屆指導委員會五人成員之一的 Brett Cannon 專門寫了一篇部落格《Why you should use "python -m pip" 》，提出應該使用「python -m pip」的方式，並做了詳細的解釋。

他的主要觀點是：在存在多個 Python 版本的環境中，這種寫法可以精確地控制三方庫的安裝位置。例如用「python3.8 -m pip」，可以明確指定給 3.8 版本安裝，而不會混淆成其它的版本。

（延伸閱讀：關於 Brett 的文章，這有一篇簡短的歸納《原來我一直安裝 Python 庫的姿勢都不對呀！》）

-m 選項的兩種原理解析

看了前面的幾種典型用法，你是否開始好奇：「-m」是怎麼運作的？它是怎麼實現的？

對於「python -m name」，一句話解釋：Python 會檢索sys.path ，查找名字為「name」的模組或者包（含命名空間包），並將其內容當成「__main__」模組來執行。

1、對於普通模組

以「.py」為後綴的文件就是一個模組，在「-m」之後使用時，只需要使用模組名，不需要寫出後綴，但前提是該模組名是有效的，且不能是用 C 語言寫成的模組。

在「-m」之後，如果是一個無效的模組名，則會報錯「No module named xxx」。

如果是一個帶後綴的模組，則首先會導入該模組，然後可能報錯：Error while finding module specification for ‘xxx.py’ (AttributeError: module ‘xxx’ has no attribute ‘__path__’。

對於一個普通模組，有時候這兩種寫法表面看起來是等效的：

兩種寫法都會把定位到的模組腳本當成主程式入口來執行，即在執行時，該腳本的__name__ 都是」__main__「，跟 import 導入方式是不同的。

但它的前提是：在執行目錄中存在著「test.py」，且只有唯一的「test」模組。對於本例，如果換一個目錄執行的話，「python test.py」當然會報找不到文件的錯誤，然而，「python -m test」卻不會報錯，因為解釋器在遍歷sys.path 時可以找到同名的「test」模組，並且執行：

由此差異，我們其實可以總結出「-m」的用法：已知一個模組的名字，但不知道它的文件路徑，那麼使用「-m」就意味著交給解釋器自行查找，若找到，則當成腳本執行。

以前文的「python -m http.server 8000」為例，我們也可以找到「server」模組的絕對路徑，然後執行，儘管這樣會變得很麻煩。

那麼，「-m」方式與直接運行腳本相比，在實現上有什麼不同呢？

直接運行腳本時，相當於給出了腳本的完整路徑（不管是絕對路徑還是相對路徑），解釋器根據文件系統的查找機制， 定位到該腳本，然後執行
使用「-m」方式時，解釋器需要在不 import 的情況下，在所有模組命名空間 中查找，定位到腳本的路徑，然後執行。為了實現這個過程，解釋器會藉助兩個模組：pkgutil 和 runpy ，前者用來獲取所有的模組列表，後者根據模組名來定位並執行腳本

2、對於包內模組

如果「-m」之後要執行的是一個包，那麼解釋器經過前面提到的查找過程，先定位到該包，然後會去執行它的「__main__」子模組，也就是說，在包目錄下需要實現一個「__main__.py」文件。

換句話說，假設有個包的名稱是「pname」，那麼，「python -m pname」，其實就等效於「python -m pname.__main__」。

仍以前文創建 HTTP 服務為例，「http」是 Python 內置的一個包，它沒有「__main__.py」文件，所以使用「-m」方式執行時，就會報錯：No module named http.__main__; ‘http’ is a package and cannot be directly executed。