同樣是Python，Python3和P

上周，我的測試同事告訴我，你的用戶名怎麼還允許中文啊？當時我心裡就想，你們測試肯定又搞錯介面了，我用的是正則w過濾了參數，怎麼可能出錯，除非Python正則系統出錯了，那是不可能的。本著嚴謹的作風，我自己先測試一下，沒問題看我怎麼懟回去。可是當我測試，我就懵逼了，中文真TM都驗證通過，不對啊，我以前也是這麼過濾參數的，測試沒問題啊？唯一的區別是現在用的是Python3。 上網搜了一圈，發現沒有一篇文章講述Python2和Python3的正則在處理字元串是的區別，都是一視同仁，知道我去翻了一遍官方文檔，才明白怎麼回事。

問題復現

我們都知道，Python有個正則規則w，幾乎所有的網上部落格文章都告訴你，這個規則匹配字母數字及下劃線，但實際並不是這樣： 有Python2程式碼如下：

~|⇒ pythonPython 2.7.10 (default, Aug 17 2018, 19:45:58)  [GCC 4.2.1 Compatible Apple LLVM 10.0.0 (clang-1000.0.42)] on darwinType "help", "copyright", "credits" or "license" for more information.>>> import re>>> aa = '捕蛇者說'>>> re.match('w{1,20}', aa)>>> bb = 'abc123ADB'>>> re.match('w{1,20}', bb)  <_sre.SRE_Match object at 0x1031b0b28>

我們可以看到，在python2中，w是無法匹配中文的。那麼，同樣的程式碼在Python3中運行結果是什麼樣子的了？

~|⇒ python3Python 3.7.1 (default, Nov 28 2018, 11:55:14)  [Clang 9.0.0 (clang-900.0.39.2)] on darwinType "help", "copyright", "credits" or "license" for more information.>>> import re>>> aa = '捕蛇者說'>>> re.match('w{1,20}', aa)  <re.Match object; span=(0, 4), match='捕蛇者說'>>>> bb = 'abc123ADB'>>> re.match('w{1,20}', bb)  <re.Match object; span=(0, 9), match='abc123ADB'>

但在Python3中w是可以匹配中文的，這是怎麼回事了？要回答這個問題，我們要回到Python官方文檔中來尋找答案。

解決問題

當我們仔細閱讀Python的官方文檔時，就會發現，對於同樣的正則規則w，Python2和Python3區別好大，我們先來看看Python2：

When the LOCALE and UNICODE flags are not specified, matches any alphanumeric character and the underscore; this is equivalent to the set [a-zA-Z0-9_]. With LOCALE, it will match the set [0-9_] plus whatever characters are defined as alphanumeric for the current locale. If UNICODE is set, this will match the characters [0-9_] plus whatever is classified as alphanumeric in the Unicode character properties database.

翻譯一下：當沒有設置LOCALE(re.L)和UNICODE(re.U)標誌，匹配數字字母和下劃線，如果設置了LOCALE(re.L)則匹配數字下劃線和LOCALE文字。如果設置了UNICODE(re.U)標誌，匹配數字下劃線和Unicode字符集里的字元。

那麼Python3了：

對於 Unicode (str) 樣式：  匹配Unicode詞語的字元，包含了可以構成詞語的絕大部分字元，也包括數字和下劃線。如果設置了 ASCII 標誌，就只匹配 [a-zA-Z0-9_] 。  對於8位(bytes)樣式：  匹配ASCII字元中的數字和字母和下劃線，就是 [a-zA-Z0-9_] 。如果設置了 LOCALE 標記，就匹配當前語言區域的數字和字母和下劃線。

到此，我明白了，默認情況下，不設置任何標誌，Python2 w匹配ASCII字符集里的字元，包括數字字元和下劃線，Python3 w匹配數字下劃線和Unicode字符集。所以，為了遷移方便，如果你想匹配ASCII字符集里的字元，指定標誌為re.A，如果你想匹配Unicode字符集里的字元，指定標誌為re.U。

總結

到此，我的問題是徹底解決了，但也有兩個教訓：

  • 看網上的教程要多注意，特別是教程里的環境和自己環境的區別
  • 多看官方文檔

關於Python2和Python3，還有很多區別，這裡就不一一列舉了，歡迎大家留言討論。

Tags:

VirMach 便宜 VPS