Celery 4.3.0 在task中執行多執行緒任務

• 2019 年 10 月 6 日
• 筆記

測試Celery任務能否使用多執行緒

在開發的調試過程中，發現如果在django項目裡面或者celery的task中使用協程gevent的話，使用monkey修補程式的時候會報錯。

那麼嘗試了很久，發現在celery中是可以執行多執行緒的，下面來演示一下執行的示例。

編寫使用多執行緒的task

import threading  from time import sleep,ctime    def smoke():      for i in range(3):          print("smoke...%d"%i)          sleep(10)    def drunk():      for i in range(3):          print("drink...%d"%i)          sleep(10)      @celery_app.task  def test_use_thread():      print('---開始---:%s' % ctime())        t1 = threading.Thread(target=smoke)      t2 = threading.Thread(target=drunk)        t1.start()      t2.start()        while True:          length = len(threading.enumerate())          print("當前運行的執行緒數為:%d" % length)          if length <= 1:              break            sleep(0.5)        # sleep(5) #      print('---結束---:%s' % ctime())

啟動celery服務

celery -A celery_tasks worker -l info -P eventlet

在django項目的交互模式下執行多執行緒的task任務

In [1]: from celery_tasks.tasks import test_use_thread    In [2]: test_use_thread.delay()  Out[2]: <AsyncResult: 69bba7b0-3808-47f1-ad36-2fea75930901>

查看celery中的執行列印情況

可以看到任務順利並發執行，也就是Celery雖然自身已經是非同步任務，還是可以繼續在task中使用多執行緒的。