【電腦內功心法】七:高並發高性能伺服器是如何實現的
- 2021 年 1 月 31 日
- 筆記
當在讀這篇文章的時候,你想過沒有,伺服器是怎麼把這篇文章發送給你的呢?
說簡單也簡單,不就是一個用戶請求嗎?伺服器根據請求從資料庫中撈出這篇文章,然後通過網路發回去。
說複雜也複雜,伺服器是如何並行處理成千上萬個用戶請求呢?這裡面涉及到哪些技術呢?
這篇文章就來為你解答這個問題。
多進程
歷史上最早出現也是最簡單的一種並處處理多個請求的方法就是利用多進程。
比如在Linux世界中,我們可以使用fork、exec等方法創建多個進程,我們可以在父進程中接收用戶的鏈接請求,然後創建子進程去處理用戶請求,就像這樣:

這種方法的優點就在於:
- 編程簡單,非常容易理解
- 由於各個進程的地址空間是相互隔離的,因此一個進程崩潰後並不會影響其它進程
- 充分利用多核資源
多進程並行處理的優點和明顯,但是缺點同樣明顯:
- 各個進程地址空間相互隔離,這一優點也會變成缺點,那就是進程間要想通訊就會變得比較困難,你需要藉助進程間通訊(IPC,interprocess communications)機制,想一想你現在知道哪些進程間通訊機制,然後讓你用程式碼實現呢?顯然,進程間通訊編程相對複雜,而且性能也是一大問題
- 我們知道創建進程開銷是比執行緒要大的,頻繁的創建銷毀進程無疑會加重系統負擔。
幸好,除了進程,我們還有執行緒。
多執行緒
不是創建進程開銷大嗎?不是進程間通訊困難嗎?這些對於執行緒來說統統不是問題。
什麼?你還不了解執行緒,趕緊看看這篇《看完這篇還不懂高並發中的執行緒與執行緒池你來打我(內含20張圖)》,這裡詳細講解了執行緒這個概念是怎麼來的。
由於執行緒共享進程地址空間,因此執行緒間通訊天然不需要藉助任何通訊機制,直接讀取記憶體就好了。
執行緒創建銷毀的開銷也變小了,要知道執行緒就像寄居蟹一樣,房子(地址空間)都是進程的,自己只是一個租客,因此非常的輕量級,創建銷毀的開銷也非常小。

我們可以為每個請求創建一個執行緒,即使一個執行緒因執行I/O操作——比如讀取資料庫等——被阻塞暫停運行也不會影響到其它執行緒,就像這樣:

但執行緒就是完美的、包治百病的嗎,顯然,電腦世界從來沒有那麼簡單。
由於執行緒共享進程地址空間,這在為執行緒間通訊帶來便利的同時也帶來了無盡的麻煩。
正是由於執行緒間共享地址空間,因此一個執行緒崩潰會導致整個進程崩潰退出,同時執行緒間通訊簡直太簡單了,簡單到執行緒間通訊只需要直接讀取記憶體就可以了,也簡單到出現問題也極其容易,死鎖、執行緒間的同步互斥、等等,這些極容易產生bug,無數程式設計師寶貴的時間就有相當一部分用來解決多執行緒帶來的無盡問題。
雖然執行緒也有缺點,但是相比多進程來說,執行緒更有優勢,但想單純的利用多執行緒就能解決高並發問題也是不切實際的。
因為雖然執行緒創建開銷相比進程小,但依然也是有開銷的,對於動輒數萬數十萬的鏈接的高並發伺服器來說,創建數萬個執行緒會有性能問題,這包括記憶體佔用、執行緒間切換,也就是調度的開銷。
因此,我們需要進一步思考。
Event Loop:事件驅動
到目前為止,我們提到「並行」二字就會想到進程、執行緒。但是,並行編程只能依賴這兩項技術嗎,並不是這樣的。
還有另一項並行技術廣泛應用在GUI編程以及伺服器編程中,這就是近幾年非常流行的事件驅動編程,event-based concurrency。
大家不要覺得這是一項很難懂的技術,實際上事件驅動編程原理上非常簡單。
這一技術需要兩種原料:
- event
- 處理event的函數,這一函數通常被稱為event handler
剩下的就簡單了:
你只需要安靜的等待event到來就好,當event到來之後,檢查一下event的類型,並根據該類型找到對應的event處理函數,也就是event handler,然後直接調用該event handler就好了。

That's it !
以上就是事件驅動編程的全部內容,是不是很簡單!
從上面的討論可以看到,我們需要不斷的接收event然後處理event,因此我們需要一個循環(用while或者for循環都可以),這個循環被稱為Event loop。
使用偽程式碼表示就是這樣:
while(true) {
event = getEvent();
handler(event);
}
Event loop中要做的事情其實是非常簡單的,只需要等待event的帶來,然後調用相應的event處理函數即可。
注意,這段程式碼只需要運行在一個執行緒或者進程中,只需要這一個event loop就可以同時處理多個用戶請求。
有的同學可以依然不明白為什麼這樣一個event loop可以同時處理多個請求呢?
原因很簡單,對於web伺服器來說,處理一個用戶請求時大部分時間其實都用在了I/O操作上,像資料庫讀寫、文件讀寫、網路讀寫等。當一個請求到來,簡單處理之後可能就需要查詢資料庫等I/O操作,我們知道I/O是非常慢的,當發起I/O後我們大可以不用等待該I/O操作完成就可以繼續處理接下來的用戶請求。

現在你應該明白了吧,雖然上一個用戶請求還沒有處理完我們其實就可以處理下一個用戶請求了,這就是並行,這種並行就可以用事件驅動編程來處理。
這就好比餐廳服務員一樣,一個服務員不可能一直等這上一個顧客下單、上菜、吃飯、買單之後才接待下一個顧客,服務員是怎麼做的呢?當一個顧客下完單後直接處理下一個顧客,當顧客吃完飯後會自己回來買單結賬的。
看到了吧,同樣是一個服務員也可以同時處理多個顧客,這個服務員就相當於這裡的Event loop,即使這個event loop只運行在一個執行緒(進程)中也可以同時處理多個用戶請求。
相信你已經對事件驅動編程有一個清晰的認知了,那麼接下來的問題就是事件驅動、事件驅動,那麼這個事件也就是event該怎麼獲取呢?
事件來源:IO多路復用
從《終於明白了,一文徹底理解I/O多路復用》這篇文章中我們知道,在Linux/Unix世界中一切皆文件,而我們的程式都是通過文件描述符來進行I/O操作的,當然對於socket也不例外,那我們該如何同時處理多個文件描述符呢?
IO多路復用技術正是用來解決這一問題的,通過IO多路復用技術,我們一次可以監控多個文件描述,當某個文件(socket)可讀或者可寫的時候我們就能得到通知啦。
這樣IO多路復用技術就成了event loop的發動機,源源不斷的給我們提供各種event,這樣關於event來源就解決了。

當然關於IO多路復用技術的詳細講解請參見《終於明白了,一文徹底理解I/O多路復用》。
至此,關於利用事件驅動來實現並發編程的所有問題都解決了嗎?event的來源問題解決了,當得到event後調用相應的handler,看上去大功告成了。
想一想還有沒有其它問題?
問題:阻塞式IO
現在,我們可以使用一個執行緒(進程)就能基於事件驅動進行並行編程,再也沒有了多執行緒中讓人惱火的各種鎖、同步互斥、死鎖等問題了。
但是,電腦科學中從來沒有出現過一種能解決所有問題的技術,現在沒有,在可預期的將來也不會有。
那上述方法有什麼問題嗎?
不要忘了,我們event loop是運行在一個執行緒(進程),這雖然解決了多執行緒問題,但是如果在處理某個event時需要進行IO操作會怎麼樣呢?
在《讀取文件時,程式經歷了什麼》一文中,我們講解了最常用的文件讀取在底層是如何實現的,程式設計師最常用的這種IO方式被稱為阻塞式IO,也就是說,當我們進行IO操作,比如讀取文件時,如果文件沒有讀取完成,那麼我們的程式(執行緒)會被阻塞而暫停執行,這在多執行緒中不是問題,因為作業系統還可以調度其它執行緒。
但是在單執行緒的event loop中是有問題的,原因就在於當我們在event loop中執行阻塞式IO操作時整個執行緒(event loop)會被暫停運行,這時作業系統將沒有其它執行緒可以調用,因為系統中只有一個event loop在處理用戶請求,這樣當event loop執行緒被阻塞暫停運行時所有用戶請求都沒有辦法被處理,你能想像當伺服器在處理其它用戶請求讀取資料庫導致你的請求被暫停嗎?

因此,在基於事件驅動編程時有一條注意事項,那就是不允許發起阻塞式IO。
有的同學可能會問,如果不能發起阻塞式IO的話,那麼該怎樣進行IO操作呢?
有阻塞式IO,就有非阻塞式IO。
非阻塞IO
為克服阻塞式IO所帶來的問題,現代作業系統開始提供一種新的發起IO請求的方法,這種方法就是非同步IO,對於的,阻塞式IO就是同步IO,關於同步和非同步這兩個概念參考《從小白到高手,你需要理解同步與非同步》。
非同步IO時,假設調用aio_read函數(具體的非同步IO API請參考具體的作業系統平台),也就是非同步讀取,當我們調用該函數後可以立即返回,並繼續其它事情,雖然此時該文件可能還沒有被讀取,這樣就不會阻塞調用執行緒了。此外,作業系統還會提供其它方法供調用執行緒來檢測IO操作是否完成。
就這樣,在作業系統的幫助下IO的阻塞調用問題也解決了。
基於事件編程的難點
雖然有非同步IO來解決event loop可能被阻塞的問題,但是基於事件編程依然是困難的。
首先,我們提到,event loop是運行在一個執行緒中的,顯然一個執行緒是沒有辦法充分利用多核資源的,有的同學可能會說那就創建多個event loop實例不就可以了,這樣就有多個event loop執行緒了,但是這樣一來多執行緒問題又會出現。
另一點在於編程方面,在《從小白到高手,你需要理解同步與非同步》這篇文章中我們講到過,非同步編程需要結合回調函數,這種編程方式需要把處理邏輯分為兩部分,一部分調用方自己處理,另一部分在回調函數中處理,這一編程方式的改變加重了程式設計師在理解上的負擔,基於事件編程的項目後期會很難擴展以及維護。
那麼有沒有更好的方法呢?
要找到更好的方法,我們需要解決問題的本質,那麼這個本質問題是什麼呢?
更好的方法
為什麼我們要使用非同步這種難以理解的方式編程呢?
是因為阻塞式編程雖然容易理解但會導致執行緒被阻塞而暫停運行。
那麼聰明的你一定會問了,有沒有一種方法既能結合約步IO的簡單理解又不會因同步調用導致執行緒被阻塞呢?
雖然基於事件編程有這樣那樣的缺點,但是在當今的高性能高並發伺服器上基於事件編程方式依然非常流行,但已經不是純粹的基於單一執行緒的事件驅動了,而是event loop + multi thread + user level thread。
關於這一組合,同樣值得拿出一篇文章來講解,我們將在後續文章中詳細討論。
總結
高並發技術從最開始的多進程一路演進到當前的事件驅動,電腦技術就像生物一樣也在不斷演變進化,但不管怎樣,了解歷史才能更深刻的理解當下。希望這篇文章能對大家理解高並發伺服器有所幫助。

