python并发执行之多进程
- 2020 年 1 月 8 日
- 筆記
多进程顾名思义程序启动的时候运行多个进程，每个进程启动一条线程进行程序处理。 没启动一个进程就要单独划分一块内存资源。就像工厂的厂房。为了提高效率每多添加一条生产线就要单独再盖一个厂房。每个厂房相互是独立的。所以启动多进程是很消耗资源的，毕竟厂房盖多了厂区就没地方给其他设施用了。
多进程的代码实现方法和多线程的函数方式很类似
#!/usr/bin/env python # -*-coding:utf-8-*- from multiprocessing import Process #引用的模块变成了多进程模块 def foo(i): print 'say hi',i for i in range(10): """ 同时启动10个进程，把Process()实例化给p 调用p.start()方法启动每个进程 """ p = Process(target=foo,args=(i,)) p.start()
上面提到了多进程之间数据是相互独立的，我们来写一段代码测试一下
#!/usr/bin/env python #coding:utf-8 from multiprocessing import Process li = [] def foo(i): #向列表中加入当前的进程序列号 li.append(i) print 'say hi',li for i in range(10): p = Process(target=foo,args=(i,)) p.start() print 'ending',li
上面的代码运行结果是
[wgw@mail ~]$ python test.py say hi [0] say hi [1] say hi [2] say hi [3] say hi [4] say hi [5] say hi [6] say hi [7] say hi [8] ending [] say hi [9]
注意看ending [] 这一列。通过代码我们得知每个一个派生的子进程都会调用foo()函数并将自己的进程运行序列号添加到li表中。但是当最后我们要查看li[]表里存储的内容，我们并没有看到自己希望看到[0,1,2…9]的内容这是为什么呢？这其实就是进程的内存相互独立导致的。我们创建了进程0，那么进程就复制了一个空列表li[],并把0追加到表里。那么对于进程0来说li列表的内容就是li[0]。但是进程1在启动之后也和进程0一样复制了一个空列表li[]，对于进程1来说运行结束时候自己的列表li的内容就是li[1]。以此类推，启动了10个子进程就复制了10个li[]空列表。每个进程中的列表都是相互独立的，而程序的最后我们打印的是最主进程的那个li[]列表，这个列表没有被操作过所以还是空的。通过这里我们也可以得知，多进程的时候每个进程都要对资源进行复制。所以进程启动多了会异常的消耗资源。
如果我们要让进程间数据同步，就需要借助multiprocessing模块中的Manager方法来管理特殊的列表或者字典。通过这种特殊方法来实现进程间数据的同步。看代码
#!/usr/bin/env python # -*-coding:utf-8-*- from multiprocessing import Process,Manager def foo(i,Manger_list): """ 函数要引用别Manger方法管理的特殊列表,这列表的 操作和标准列表是完全一致的。 """ Manger_list.append(i) print 'say hi',li if __name__=='__main__': #定义一个空列表储存生成的多进程句柄 p_list=[] #实例化Manager方法 manager=Manager() #声明li是被manger管理的特殊列表 li = manager.list() for i in range(10): #将进程的启动序列号和特殊列表赋值给foo()函数 p = Process(target=foo,args=(i,li)) p_list.append(p) for p in p_list: #执行多进程句柄，交给CPU调度 p.start() for p in p_list: #在最后一个子进程结束前，不能停止主进程 p.join() #主进程结束后打印主进程中li列表的内容 print 'ending',li
这段代码的运行结果是
say hi [0] say hi [0, 7] say hi [0, 7, 4] say hi [0, 7, 4, 5] say hi [0, 7, 4, 5, 6] say hi [0, 7, 4, 5, 6, 2] say hi [0, 7, 4, 5, 6, 2, 9] say hi [0, 7, 4, 5, 6, 2, 9, 3] say hi [0, 7, 4, 5, 6, 2, 9, 3, 8] say hi [0, 7, 4, 5, 6, 2, 9, 3, 8, 1] ending [0, 7, 4, 5, 6, 2, 9, 3, 8, 1]
从上面的结果就可以看出来，虽然进程执行结束的顺序和启动时候的顺序不一样了。但是每个子进程的执行结果都被追加到了同一个li列表中。并且最后主进程的li列表内容和子进程的的内容一致。说明通过multiprocessing.Manager()方法可以让多进程像多线程一样实现内存数据的共享。
