Python 二十三大实践、编码建议和技巧

  • 2020 年 2 月 19 日
  • 筆記

一、开篇

2020年,你又立了什么新的 Flag?新一年,我为大家准备 23 个非常优秀的 Python 实践技巧。希望这些诀窍能在实际工作中帮助大家,并且学到一些有用的知识。

二、技巧篇

1、检查并使用满足需求的最小Python版本

你可以在代码中检查Python 版本,以确保你的代码使用者没有使用不兼容的版本运行脚本。使用以下代码进行简单的检查:

import sys    if not sys.version_info > (2, 7):      print('当前Python版本低于2.7')  elif (2, 7) <= sys.version_info <= (3, 8):      print('当前Python版本大于或等于2.7但小于3.8')  else:      print('其它版本')

2、列表解析式

列表解析式可以用来替换通过循环来填充列表的丑陋方法,其基本语法是:

[ expression for item in list if conditional ]

一个非常基础的例子,用于生成包含连续数字的列表:

mylist = [i for i in range(10)]    print(mylist)  # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

由于可以使用表达式,因此可以通过更复杂的数学方法来生成列表:

squares = [x**2 for x in range(10)]    print(squares)  # [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

甚至也可以调用外部函数:

def some_function(a):      return (a + 5) / 2    my_function = [some_function(i) for i in range(10)]  print(my_function)  # [2, 3, 3, 4, 4, 5, 5, 6, 6, 7]

最后,也可以用if作为生成条件来对列表进行过滤。在下面的例子中,只有偶数被保留:

filtered = [i for i in range(20) if i%2==0]    print(filtered)  # [0, 2, 4, 6, 8, 10, 12, 14, 16, 18]

3、检查对象的内存占用情况

通过sys.getsizeof(object)命令可以查看任何对象的内存使用情况:

import sys  mylist=range(0, 1000000)  print(sys.getsizeof(mylist))

因为range函数返回的是一个类对象,这个类对象表现为一个列表。因此使用range函数比使用实际的包含一万个数字的列表要更加节省内存。

4、'==' VS 'is'用法

等于(==)和 is 是 Python 中对象比较常用的两种方式。简单来说,'=='操作符比较对象之间的值是否相等,比如下面的例子,表示比较变量 a 和 b 所指向的值是否相等。

a == b

而'is'操作符比较的是对象的身份标识是否相等,即它们是否是同一个对象,是否指向同一个内存地址。在 Python 中,每个对象的身份标识,都能通过函数 id(object) 获得。因此,'is'操作符,相当于比较对象之间的 ID 是否相等。

a = 10  b = 10    a == b  True    id(a)  4427562448    id(b)  4427562448    a is b  True

不过,需要注意,对于整型数字来说,以上a is b为 True 的结论,只适用于 -5 到 256 范围内的数字。比如下面这个例子:

a = 257  b = 257    a == b  True    id(a)  4473417552    id(b)  4473417584    a is b  False

这里我们把 257 同时赋值给了 a 和 b,可以看到a == b仍然返回 True,因为 a 和 b 指向的值相等。但奇怪的是,a is b返回了 false,并且我们发现,a 和 b 的 ID 不一样了,这是为什么呢?

这是由于Python出于对性能优化的考虑,Python 内部会对 -5 到 256 的整型维持一个数组,起到一个缓存的作用。这样,每次你试图创建一个 -5 到 256 范围内的整型数字时,Python 都会从这个数组中返回相对应的引用,而不是重新开辟一块新的内存空间。但是,如果整型数字超过了这个范围,比如上述例子中的 257,Python 则会为两个 257 开辟两块内存区域,因此 a 和 b 的 ID 不一样,a is b就会返回 False 了。

通常来说,在实际工作中,当我们比较变量时,使用'=='的次数会比'is'多得多,因为我们一般更关心两个变量的值,而不是它们内部的存储地址。但是,当我们比较一个变量与一个单例(singleton)时,通常会使用'is'。

5、返回多个值

Pyhon中的函数都可以返回多个变量,而不需要字典,列表或者类作为返回对象。方法如下:

def get_user(id):      # fetch user from database      # ....      return name, birthdate    name, birthdate = get_user(4)

对于有限数量的返回值,这是可以的。但是任何超过3个值的内容都应该放到一个(data)类中。

6、使用 data 类

从3.7版本开始,Python提供了 data 类。与常规类或其他替代方法(如返回多个值或字典)相比,有以下几个优点:

  • 数据类需要至少一定数量的代码
  • 可以通过 __eq__ 方法来比较不同的data类对象
  • 可以 __repr__ 通过很容易地打印一个数据类来进行调试
  • 数据类需要类型提示,因此减少了 bug

一个data类的例子如下:

from dataclasses import dataclass    @dataclass  class Card:      name: str      sex: str    card = Card("MikeZhou", "Man")  print(card.name)  # 'Mikezhou'  print(card.sex)  # 'Man'    print(card)

详细教程参见:

https://realpython.com/python-data-classes/

7、字典合并(Python 3.5+)

从Python 3.5开始,字典的合并变得更简单了:

dict1 = { 'a': 1, 'b': 2 }  dict2 = { 'b': 3, 'c': 4 }  merged = { **dict1, **dict2 }    print (merged)  # {'a': 1, 'b': 3, 'c': 4}

8、将字符串转化为标题格式

在标题格式中,非介词的首字母会大写。可以通过.title()方法实现:

mystring = "awesome python tricks"  print(mystring.title())  'Awesome Python Tricks'

9、将列表中的字符串合并到一起

从列表中创建字符串,并在两个单词间插入空格:

mylist = ['mikezhou_talk', '中文名是:', '测试开发技术']  mystring = " ".join(mylist)  print(mystring)  # 'mikezhou_talk 中文名是: 测试开发技术'

也许你会疑惑,为什么不使用mylist.join(" ")呢?归根结底,String.join()函数不仅可以连接列表,还可以连接任何可迭代的列表。将它放在String中会阻止在多个位置实现相同的功能。

10、Emoji表情

这些表情具有很强的表达能力,能给人留下深刻印象。更重要的是,这在分析社交媒体数据时尤其有用。

首先通过以下命令安装emoji模块:

pip3 install emoji

可以按照以下方法使用表情:

import emoji  result = emoji.emojize('Python is :thumbs_up:')  print(result)  # 'Python is ?'    # You can also reverse this:  result = emoji.demojize('Python is ?')  print(result)  # 'Python is :thumbs_up:'

更多复杂的例子以及文档,参见:

https://pypi.org/project/emoji/

11、翻转字符串和列表

可以用切片操作来翻转列表或字符串,将step设置为负值即可实现:

revstring = "abcdefg"[::-1]  print(revstring)  # 'gfedcba'    revarray = [1, 2, 3, 4, 5][::-1]  print(revarray)  # [5, 4, 3, 2, 1]

12、图片显示

可以通过Pillow模块来显示图片,首先安装python图片库:

pip3 install Pillow

然后下载你要显示的图片,并重命名。然后可以通过以下命令来显示图片:

from PIL import Image    im = Image.open("mikezhou.jpg")  im.show()  print(im.format, im.size, im.mode)  # JPEG (1920, 1357) RGB

Pillow的功能远不止显示图片。它可以对图片进行分析,调整大小,滤波,增强,变形等等。更多资料详见文档:

https://pillow.readthedocs.io/en/stable/。

13、从列表或字符串中获取唯一元素

通过set()函数可以将列表或字符串转换为集合,集合中的不含重复元素:

mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]  print (set(mylist))  # {1, 2, 3, 4, 5, 6}    print (set("aaabbbcccdddeeefff"))  # {'a', 'b', 'c', 'd', 'e', 'f'}

14、找出最常出现的值

查找列表或字符串中最常出现的值:

test = [1, 2, 3, 4, 2, 2, 3, 1, 4, 4, 4]  print(max(set(test), key = test.count))  # 4

你可以尝试自行理解上述代码。好吧,也许你并没有尝试。上述代码的工作原理如下:

  • max()将返回列表中的最大值。key参数接受单个参数函数确定定制排序顺序,在本例中,它是test.count,该函数应用于iterable对象中的每个元素。
  • .count()是列表的一个内建函数,该函数接收一个参数,并计算该参数的出现次数。因此在本例中,test.count(1)返回2,testcount(4)返回4。
  • set(test)返回test列表中的所有唯一值,因此是{1,2,3,4}。

因此在上面的这行语句中我们首先找出了test列表的所有独特值,即{1,2,3,4}。接着,将.count函数应用于set中的每个值,得到一个数量列表,然后通过max找出数量最大的值。

15、创建进度条

可以自行创建进度条,但也可以通过progress模块来快速创建:

pip3 install progress

然后通过以下代码来创建进度条:

from progress.bar import Bar    bar = Bar('Processing', max=20)  for i in range(20):      # Do some work      bar.next()  bar.finish()

16、快速创建web服务器

您可以快速启动web服务器,来提供当前工作目录的内容:

python3 -m http.server

如果您想与同事共享一些内容,或者想测试一个简单的HTML站点,这是非常有用的。

17、用于条件赋值的三元运算符

这是另一种使你代码变得简洁,同时保持可读性的方法:

[on_true] if [expression] else [on_false]

一个简单的例子如下:

x = "Success!" if (y == 2) else "Failed!"

18、统计元素的出现次数

可以使用Collections依赖包中的Counter方法来获得一个包含列表中所有惟一元素计数的字典:

from collections import Counter    mylist = [1, 1, 2, 3, 4, 5, 5, 5, 6, 6]  c = Counter(mylist)  print(c)  # Counter({1: 2, 2: 1, 3: 1, 4: 1, 5: 3, 6: 2})    print(Counter("aaaaabbbbbccccc"))  # Counter({'a': 5, 'b': 5, 'c': 5})

19、加入色彩

通过 Colorama 依赖包,可以在终端中添加更多色彩:

from colorama import Fore, Back, Style  print(Fore.RED + 'some red text')  print(Back.GREEN + 'and with a green background')  print(Style.DIM + 'and in dim text')  print(Style.RESET_ALL)  print('back to normal now')

关于Colorama依赖包的更多信息,参见:

https://pypi.org/project/colorama/

20、日期处理

python-dateutil模块为标准的datetime模块提供了强大的扩展。首先安装该模块:

pip3 install python-dateutil 

你可以用这个库做很多很酷的事情。我讲把我认为特别有用的一个功能作为示例:日志文件中日期的模糊解析等。如下:

from dateutil.parser import parse  logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.'  timestamp = parse(log_line, fuzzy=True)  print(timestamp)  # 2020-01-01 00:00:01

只要记住,如果datatime不具备某个功能,那datautil一定有该功能,datautil是datatime功能的延续。

21、通过chardet检测字符集合

可以使用chardet模块来检测文件中的字符集合。这在分析大量随机文本时非常有用。安装chardet模块:

pip install chardet

现在你有了一个额外的命令行工具chardetect,它可以这样使用:

chardetect somefile.txt  somefile.txt: ascii with confidence 1.0

你也可以通过编程的方式来使用这个依赖包,详见文档:

https://chardet.readthedocs.io/en/latest/usage.html

22、用 cProfile 进行性能分析

日常工作中,我们常常会遇到这样的问题:在线上,产品的某个功能模块效率低下,延迟(latency)高,占用的资源多,但却不知道是哪里出了问题。

如果能对代码的每个部分进行动态的分析,比如准确计算出每个模块消耗的时间等。这样就可以知道程序的瓶颈所在,从而对其进行修正或优化。在 Python 中,这些需求用 cProfile 就可以实现。

举个例子,比如我想计算斐波拉契数列,运用递归思想,我们很容易就能写出下面这样的代码:

def fib(n):      if n == 0:          return 0      elif n == 1:          return 1      else:          return fib(n-1) + fib(n-2)    def fib_seq(n):      res = []      if n > 0:          res.extend(fib_seq(n-1))      res.append(fib(n))      return res    fib_seq(30)

接下来,我想要测试一下这段代码总的效率以及各个部分的效率。那么,我就只需在开头导入 cProfile 这个模块,并且在最后运行 cProfile.run() 就可以了:

import cProfile  # def fib(n)  # def fib_seq(n):  cProfile.run('fib_seq(30)')

或者更简单一些,直接在运行脚本的命令中,加入选项“-m cProfile”也很方便:

python3 -m cProfile xxx.py

运行完毕后,我们可以看到下面这个输出界面:

23、合理利用assert

Python 的 assert 语句,可以说是一个 debug 的好工具,主要用于测试一个条件是否满足。如果测试的条件满足,则什么也不做,相当于执行了 pass 语句;如果测试条件不满足,便会抛出异常 AssertionError,并返回具体的错误信息。

比如下面这个例子:

assert 1 == 2,  'assertion is wrong'

它相当于下面这两行代码:

if __debug__:      if not expression1: raise AssertionError(expression2)

这里的__debug__是一个常数。如果 Python 程序执行时附带了-O这个选项,比如Python test.py -O,那么程序中所有的 assert 语句都会失效,常数__debug__便为 False;反之__debug__则为 True。

再来看一个例子:

def apply_discount(price, discount):      updated_price = price * (1 - discount)      assert 0 <= updated_price <= price, 'price should be greater or equal to 0 and less or equal to original price'      return updated_price

我们加入了 assert 语句,规定销售数目必须大于 0,这样就可以防止后台计算那些还未开卖的课程的价格。

总的来说,assert 在程序中的作用,是对代码做一些 internal 的 self-check。使用 assert,就表示你很确定。这个条件一定会发生或者一定不会发生。如果你的程序没有 bug,那么 assert 永远不会抛出异常;而它一旦抛出了异常,你就知道程序存在问题了,并且可以根据错误信息,很容易定位出错误的源头。


以上就是为大家整理的23个Python常用技巧,希望这些技巧能帮助你在新的一年里有个不错的开始。

无论是对于 Python 这门语言,还是其他语言,或是计算机的其他领域,我认为实践永远是至关重要的。计算机科学是一门偏向工程的学科,所以一定要多实践,多写代码,多交流,多思考

希望这篇文章能帮到你!更多干货文章请关注我们。