关于Python闭包的一切
任何把函数当做一等对象的语言,它的设计者都要面对一个问题:作为一等对象的函数在某个作用域中定义,但是可能会在其他作用域中调用,如何处理自由变量?
自由变量(free variable),未在局部作用域中绑定的变量。
为了解决这个问题,Python之父Guido Van Rossum设计了闭包,有如神来之笔,代码美学尽显。在讨论闭包之前,有必要先了解Python中的变量作用域。
变量作用域
先看一个全局变量和自由变量的示例:
>>> b = 6
>>> def f1(a):
... print(a)
... print(b)
...
>>> f1(3)
3
6
函数体外的b为全局变量,函数体内的b为自由变量。因为自由变量b绑定到了全局变量,所以在函数f1()中能正确print。
如果稍微改一下,那么函数体内的b就会从自由变量变成局部变量:
>>> b = 6
def f1(a):
... print(a)
... print(b)
... b = 9
...
>>> f1(3)
3
Traceback (most recent call last):
File "<input>", line 1, in <module>
File "<input>", line 3, in f1
UnboundLocalError: local variable 'b' referenced before assignment
在函数f1()后面加上b = 9
报错:局部变量b在赋值前进行了引用。
这不是缺陷,而是Python设计:Python不要求声明变量,而是假定在函数定义体中赋值的变量是局部变量。
如果想让解释器把b当做全局变量,那么需要使用global声明:
>>> b = 6
>>> def f1(a):
... global b
... print(a)
... print(b)
... b = 9
...
>>> f1(3)
3
6
闭包
回到文章开头的自由变量问题,假如有个叫做avg的函数,它的作用是计算系列值的均值,用类实现:
class Averager():
def __init__(self):
self.series = []
def __call__(self, new_value):
self.series.append(new_value)
total = sum(self.series)
return totle / len(self.series)
avg = Averager()
avg(10) # 10.0
avg(11) # 10.5
avg(12) # 11.0
类实现不存在自由变量问题,因为self.series是类属性。但是函数实现,进行函数嵌套时,问题就出现了:
def make_averager():
series = []
def averager(new_value):
# series是自由变量
series.append(new_value)
total = sum(series)
return totle / len(series)
return averager
avg = make_averager()
avg(10) # 10.0
avg(11) # 10.5
avg(12) # 11.0
函数make_averager()在局部作用域中定义了series变量,它的内部函数averager()的自由变量series绑定了这个值。但是在调用avg(10)时,make_averager()函数已经return返回了,它的局部作用域也消失了。没有闭包的话,自由变量series一定会报错找不到定义。
那么闭包是怎么做的呢?闭包是一种函数,它会保留定义时存在的自由变量的绑定,这样调用函数时,虽然定义作用域不可用了,但是仍然能使用那些绑定。
如下图所示:
闭包会保留自由变量series的绑定,在调用avg(10)时继续使用这个绑定,即使make_averager()函数的局部作用域已经消失。
nonlocal
把上面示例的需求稍微优化下,只存储目前的总值和元素个数:
def make_averager():
count = 0
total = 0
def averager(new_value):
count += 1
total += new_value
return total / count
return averager
运行后会报错:局部变量count在赋值前进行了引用。因为count +=1等同于count = count + 1,存在赋值,count就变成局部变量了。total也是如此。
这里如果把count和total通过global关键字声明为全局变量,显然是不合适的,它们作用域最多只扩展到make_averager()函数内。为了解决这个问题,Python3引入了nonlocal关键字声明:
def make_averager():
count = 0
total = 0
def averager(new_value):
nonlocal count, total
count += 1
total += new_value
return total / count
return averager
nonlocal的作用是把变量标记为自由变量,即使在函数中为变量赋值了,也仍然是自由变量。
注意,对于列表、字典等可变类型来说,添加元素不是赋值,不会隐式创建局部变量。对于数字、字符串、元组等不可变类型以及None来说,赋值会隐式创建局部变量。示例:
def make_averager():
# 可变类型
count = {}
def averager(new_value):
print(count) # 成功
count[new_value] = new_value
return count
return averager
可变对象添加元素不是赋值,不会隐式创建局部变量。
def make_averager():
# 不可变类型
count = 1
def averager(new_value):
print(count) # 报错
count = new_value
return count
return averager
count是不可变类型,赋值会隐式创建局部变量,报错:局部变量count在赋值前进行了引用。
def make_averager():
# None
count = None
def averager(new_value):
print(count) # 报错
count = new_value
return count
return averager
count是None,赋值会隐式创建局部变量,报错:局部变量count在赋值前进行了引用。
小结
本文先介绍了全局变量、自由变量、局部变量的概念,这是理解闭包的前提。闭包就是用来解决函数嵌套时,自由变量如何处理的问题,它会保留自由变量的绑定,即使局部作用域已经消失。对于不可变类型和None来说,赋值会隐式创建局部变量,把自由变量转换为局部变量,这可能会导致程序报错:局部变量在赋值前进行了引用。除了使用global声明为全局变量外,还可以使用nonlocal声明把局部变量强制变为自由变量,实现闭包。
参考资料:
《流畅的Python》