Nginx 核心架構設計，揭秘其為何能支援高並發？

• 2020 年 3 月 3 日
• 筆記

Nginx 作為業界知名的高性能伺服器，被廣泛的應用。它的高性能正是由於其優秀的架構設計，其架構主要包括這幾點：模組化設計、事件驅動架構、請求的多階段非同步處理、管理進程與多工作進程設計、記憶體池的設計，以下內容依次進行說明。

模組化設計

高度模組化的設計是 Nginx 的架構基礎。在 Nginx 中，除了少量的核心程式碼，其他一切皆為模組。

所有模組間是分層次、分類別的，Nginx 官方共有五大類型的模組：核心模組、配置模組、事件模組、HTTP 模組、mail 模組。它們之間的關係如下：

在這 5 種模組中，配置模組和核心模組是與 Nginx 框架密切相關的。而事件模組則是 HTTP 模組和 mail 模組的基礎。HTTP 模組和 mail 模組的「地位」類似，它們都是更關注於應用層面。

事件驅動架構

事件驅動架構，簡單的說就是由一些事件發生源來產生事件，由事件收集器來收集、分發事件，然後由事件處理器來處理這些事件（事件處理器需要先在事件收集器里註冊自己想處理的事件）。

對於 Nginx 伺服器而言，一般由網卡、磁碟產生事件，Nginx 中的事件模組將負責事件的收集、分發操作；而所有的模組都可能是事件消費者，它們首先需要向事件模組註冊感興趣的事件類型，這樣，在有事件產生時，事件模組會把事件分發到相應的模組中進行處理。

對於傳統 web 伺服器（如 Apache）而言，採用的所謂事件驅動往往局限在 TCP 連接建立、關閉事件上，一個連接建立以後，在其關閉之前的所有操作都不再是事件驅動，這時會退化成按順序執行每個操作的批處理模式，這樣每個請求在連接建立後都將始終佔用著系統資源，直到關閉才會釋放資源。這種請求佔用著伺服器資源等待處理的模式會造成伺服器資源極大的浪費。如下圖所示，傳統 web 伺服器往往把一個進程或執行緒作為時間消費者，當一個請求產生的事件被該進程處理時，直到這個請求處理結束時，進程資源都將被這一請求所佔用。比較典型的例子如 Apache 同步阻塞的多進程模式就是這樣的。

傳統 web 伺服器處理事件的簡單模型（矩形代表進程）:

Nginx 採用事件驅動架構處理業務的方式與傳統的 web 伺服器是不同的。它不使用進程或者執行緒來作為事件消費者，所謂的事件消費者只能是某個模組。只有事件收集、分發器才有資格佔用進程資源，它們會在分發某個事件時調用事件消費模組使用當前佔用的進程資源，如下圖所示，該圖中列出了 5 個不同的事件，在事件收集、分發者進程的一次處理過程中，這 5 個事件按照順序被收集後，將開始使用當前進程分發事件，從而調用相應的事件消費者來處理事件。當然，這種分發、調用也是有序的。

Nginx 處理事件的簡單模型：

由上圖可以看出，處理請求事件時，Nginx 的事件消費者只是被事件分發者進程短期調用而已，這種設計使得網路性能、用戶感知的請求時延都得到了提升，每個用戶的請求所產生的事件會及時響應，整個伺服器的網路吞吐量都會由於事件的及時響應而增大。當然，這也帶來一定的要求，即每個事件消費者都不能有阻塞行為，否則將會由於長時間佔用事件分發者進程而導致其他事件得不到及時響應，Nginx 的非阻塞特性就是由於它的模組都是滿足這個要求的。

請求的多階段非同步處理

多階段非同步處理請求與事件驅動架構是密切相關的，也就是說，請求的多階段非同步處理只能基於事件驅動架構實現。多階段非同步處理就是把一個請求的處理過程按照事件的觸發方式劃分為多個階段，每個階段都可以由事件收集、分發器來觸發。

處理獲取靜態文件的 HTTP 請求時切分的階段及各階段的觸發事件如下所示：

這個例子中，該請求大致分為 7 個階段，這些階段是可以重複發生的，因此，一個下載靜態資源請求可能會由於請求數據過大，網速不穩定等因素而被分解為成百上千個上圖所列出的階段。

非同步處理和多階段是相輔相成的，只有把請求分為多個階段，才有所謂的非同步處理。當一個時間被分發到事件消費者中進行處理時，事件消費者處理完這個事件只相當於處理完 1 個請求的階段。什麼時候可以處理下一個階段呢？這隻能等待內核的通知，即當下一次事件出現時，epoll 等事件分發器將會獲取到通知，然後去調用事件消費者進行處理。

管理進程、多工作進程設計

Nginx 在啟動後，會有一個 master 進程和多個 worker 進程。master 進程主要用來管理worker 進程，包括接收來自外界的訊號，向各 worker 進程發送訊號，監控 worker 進程的運行狀態以及啟動 worker 進程。worker 進程是用來處理來自客戶端的請求事件。多個 worker 進程之間是對等的，它們同等競爭來自客戶端的請求，各進程互相獨立，一個請求只能在一個 worker 進程中處理。worker 進程的個數是可以設置的，一般會設置與機器 CPU 核數一致，這裡面的原因與事件處理模型有關。Nginx 的進程模型，可由下圖來表示：

在伺服器上查看 Nginx 進程：

這種設計帶來以下優點：

利用多核系統的並發處理能力

現代作業系統已經支援多核 CPU 架構，這使得多個進程可以分別佔用不同的 CPU 核心來工作。Nginx 中所有的 worker 工作進程都是完全平等的。這提高了網路性能、降低了請求的時延。

負載均衡

多個 worker 工作進程通過進程間通訊來實現負載均衡，即一個請求到來時更容易被分配到負載較輕的 worker 工作進程中處理。這也在一定程度上提高了網路性能、降低了請求的時延。

管理進程會負責監控工作進程的狀態，並負責管理其行為

管理進程不會佔用多少系統資源，它只是用來啟動、停止、監控或使用其他行為來控制工作進程。首先，這提高了系統的可靠性，當 worker 進程出現問題時，管理進程可以啟動新的工作進程來避免系統性能的下降。其次，管理進程支援 Nginx 服務運行中的程式升級、配置項修改等操作，這種設計使得動態可擴展性、動態訂製性較容易實現。

記憶體池的設計

為了避免出現記憶體碎片，減少向作業系統申請記憶體的次數、降低各個模組的開發複雜度，Nginx 設計了簡單的記憶體池，它的作用主要是把多次向系統申請記憶體的操作整合成一次，這大大減少了 CPU 資源的消耗，同時減少了記憶體碎片。

因此，通常每一個請求都有一個簡易的獨立記憶體池（如每個 TCP 連接都分配了一個記憶體池），而在請求結束時則會銷毀整個記憶體池，把曾經分配的記憶體一次性歸還給作業系統。這種設計大大提高了模組開發的簡單些，因為在模組申請記憶體後不用關心它的釋放問題；而且因為分配記憶體次數的減少使得請求執行的時延得到了降低。同時，通過減少記憶體碎片，提高了記憶體的有效利用率和系統可處理的並發連接數，從而增強了網路性能。

https://segmentfault.com/a/1190000018261096