Python线程和进程（下）

• 2020 年 4 月 10 日
• 筆記

队列

queue是python的标准库，俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3是小写的queue即可

在python中，多个线程之间的数据是共享的，多个线程进行数据交换的时候，不能够保证数据的安全性和一致性，所以当多个线程需要进行数据交换的时候，队列就出现了，队列可以完美解决线程间的数据交换，保证线程间数据的安全性和一致性(简单的来说就是多线程需要加锁，很可能会造成死锁，而queue自带锁。所以多线程结合queue会好的很多。

导入：from queue import Queue

我们还是先看一个案例。queue 就是一个put和get两个操作，一个走开一个进入。

import time  from queue import Queue  from threading import Thread  from random import randint  # 3个队列  my_queue = Queue(3)  def f1(my_queus):      for i in range(3):          time.sleep(1)          num = randint(0,10)          print(num)          my_queue.put(num)      def f2(my_queus):      for i in range(3):          time.sleep(1)          num = my_queue.get()          print(num)    t1 = Thread(target=f1,args=(my_queue,))  t2 = Thread(target=f2,args=(my_queue,))  t1.start()  t2.start()  t1.join()  t2.join()  

执行一下，randint是随机在0-10取一个数。

10  10  3  3  5  5  

这样就是进一个出一个。

queue还有下面的用法，不说了

线程池

线程多了，是不是要给一个池放在一起比较好，所以 线程池就出来了。这样有任务了，我找一个线程来干活。

使用的是 multiprocessing这个标准库，ThreadPool这个类比之前的Thread这个类多了Pool。

来看demo，用这个ThreadPool。ThreadPool(3)就是在线程池中有3个线程，apply_async就是分配任务，传入的是一个函数

from multiprocessing.pool import ThreadPool  import time  def hello(name):      print('hello,{}'.format(name))      time.sleep(2)      print('Bye')    t = ThreadPool(3)  for i in range(3):      t.apply_async(hello,args=(i,))    t.close()  t.join()  

我们来运行下

OUT：  几乎一起完成  hello,0 hello,1 hello,2  几乎一起完成  Bye Bye Bye  

三个线程一起干活，每一个线程完成我们的hello任务，最后一起完成了。

上面我们使用的for i in range的方法执行任务，因为任务相同，传入的参数也相同。

我们再看最后一个，传入*args, **kwargs参数

from multiprocessing.pool import ThreadPool  import time    pool = ThreadPool(2)    def task1():      time.sleep(1)      print("任务1完成")    def task2(*args,**kwargs):      time.sleep(1)      print("任务2完成:",args,kwargs)    pool.apply_async(task1)  pool.apply_async(task2,args=(1,2),kwds={'a':1,'b':2})  print("任务提交完成")  pool.close()  pool.join()  print("任务完成")  

执行如下：

任务提交完成  任务1完成  任务2完成:(1, 2) {'a': 1, 'b': 2}  任务完成  

对于进程和线程就到这里，使用进程和线程，就是在爬虫中，可以提高爬虫速度，就没了。