Nginx:進程調度

Blog:博客園 個人

Nginx採用的是固定數量的多進程模型,由一個主進程(MasterProcess)和數量與主機CPU核數相同的工作進程協同處理各種事件。

主管理進程負責工作進程的配置加載、啟停等操作,工作進程負責處理具體請求。進程間的資源都是獨立的,每個工作進程處理多個連接,每個連接由一個工作進程全權處理,不需要進行進程切換,也就不會產生由進程切換引起的資源消耗問題。默認配置下,工作進程的數量與主機CPU核數相同,充分利用CPU和進程的親緣性(affinity)將工作進程與CPU綁定,從而最大限度地發揮多核CPU的處理能力。

Nginx主進程負責監聽外部控制信號,通過頻道機制將相關信號操作傳遞給工作進程,多個工作進程間通過共享內存來共享數據和信息。

image-20210918144436718

Tips:進程親緣性(affinity),使進程或線程在指定的CPU(核)上運行。

Nginx的工作進程有如下幾種調度方式:

  • 無調度模式:所有工作進程都會在連接事件被觸發時爭相與客戶端建立連接,建立連接成功則開始處理客戶端請求。無調度模式下所有進程都會爭搶資源,但最終只有一個進程可以與客戶端建立連接,對於系統而言這將在瞬間產生大量的資源消耗,這就是所謂的驚群現象
  • 互斥鎖模式:每個工作進程都會周期性地爭搶互斥鎖,一旦某個工作進程搶到互斥鎖,就表示其擁有接收HTTP建立連接事件的處理權,並將當前進程的socket監聽注入事件引擎(如epoll)中,接收外部的連接事件。其他工作進程只能繼續處理已經建立連接的讀寫事件,並周期性地輪詢查看互斥鎖的狀態,只有互斥鎖被釋放後工作進程才可以搶佔互斥鎖,獲取HTTP建立連接事件的處理權。當工作進程最大連接數的1/8與該進程可用連接(free_connection)的差大於或等於1時,則放棄本輪爭搶互斥鎖的機會,不再接收新的連接請求,只處理已建立連接的讀寫事件。互斥鎖模式有效地避免了驚群現象,對於大量HTTP的短連接,該機制有效避免了因工作進程爭搶事件處理權而產生的資源消耗。但對於大量啟用長連接方式的HTTP連接,互斥鎖模式會將壓力集中在少數工作進程上,進而因工作進程負載不均而導致QPS下降。
  • 套接字分片:套接字分片是由內核提供的一種分配機制,該機制允許每個工作進程都有一組相同的監聽套接字。當有外部連接請求時,由內核決定哪個工作進程的套接字監聽可以接收連接。這有效避免了驚群現象的發生,相比互斥鎖機制提高了多核系統的性能。該功能需要在配置listen指令時啟用reuseport參數。

Tips:Nginx 1.11.3以後的版本中互斥鎖模式默認是關閉的。套接字分片模式則因為由Linux內核提供進程的調度機制,所以性能最好。