linux調度全景指南

 

 

 

​

 

| 導語 本文主要是講Linux的調度系統, 由於全部內容太多，分三部分來講，調度可以說是作業系統的靈魂，為了讓CPU資源利用最大化，Linux設計了一套非常精細的調度系統，對大多數場景都進行了很多優化，系統擴展性強，我們可以根據業務模型和業務場景的特點，有針對性的去進行性能優化，在保證客戶網路頻寬前提下，隔離客戶互相之間的干擾影響，提高CPU利用率，降低單位運算成本，提高市場競爭力。歡迎大家相互交流學習！

 

Alex 碼農的藝術，騰訊資深工程師，騰訊雲網路核心成員，獲得過2次五星員工（鵝廠優秀員工），面試經驗豐富，熱愛技術與運動，微信搜一搜【職場重生】關注我，

期待與大家一起學習交流，認真回答每一個問題；

​

                              目錄

​

 

​

 

 

                                                                  CPU

​

 

CPU作為計算資源，一直是雲計算廠商比拼的核心競爭力，我們的目標是合理安排好計算任務，充分提高CPU的利用率，預留更多空間容錯，增強系統穩定性，讓任務更快執行，降低無效功耗，節約成本，從而提高市場競爭力。

​

 

                               CPU 實現的抽象邏輯圖

  1. 首先，我們有一個自動計數器。這個自動計數器會隨著時鐘主頻不斷地自增，來作為我們的 PC 暫存器；

  2. 在這個自動計數器的後面，我們連上一個解碼器。解碼器還要同時連著我們通過大量的 D 觸發器組成的記憶體。

  3. 自動計數器會隨著時鐘主頻不斷自增，從解碼器當中，找到對應的計數器所表示的記憶體地址，然後讀取出裡面的 CPU 指令。

  4. 讀取出來的 CPU 指令會通過CPU 時鐘的控制，寫入到一個由 D 觸發器組成的暫存器，也就是指令暫存器當中。

  5. 在指令暫存器後面，我們可以再跟一個解碼器。這個解碼器的作用不再是用於定址，而是把拿到的指令解析成opcode 和對應的操作數。

  6. 當我們拿到對應的 opcode 和操作數，對應的輸出線路就要連接 ALU，開始進行各種算術和邏輯運算。對應的計算結果，則會再寫回到 D 觸發器組成的暫存器或者記憶體當中。

這裡整個過程就大概是CPU的一條指令的執行過程。為了加快CPU指令的執行速度，CPU在發展過程中做了很多優化，例如流水線，分支預測，超標量，Hyper-threading，SIMD，多級cache，NUMA架構等,  這裡主要關注Linux的調度系統。

 

CPU上下文

Linux 是一個多任務作業系統，它支援遠大於 CPU 數量的任務同時運行。當然，這些任務實際上並不是真的在同時運行，而是因為系統在很短的時間內，將 CPU 輪流分配給它們，造成多任務同時運行的錯覺。

而在每個任務運行前，CPU 都需要知道任務從哪裡載入、又從哪裡開始運行，也就是說，需要系統事先幫它設置好 CPU 暫存器和程式計數器(Program Counter，PC)。

CPU 暫存器，是 CPU 內置的容量小、但速度極快的記憶體。而程式計數器，則是用來存儲 CPU 正在執行的指令位置、或者即將執行的下一條指令位置。它們都是 CPU 在運行任何任務前，必須的依賴環境，因此也被叫做 CPU 上下文（執行環境）：

 

 

​

                             

 

而這些保存下來的上下文，會存儲在系統內核中（堆棧），並在任務重新調度執行時再次載入進來。這樣就能保證任務原來的狀態不受影響，讓任務看起來還是連續運行。

在Linux中，內核空間和用戶空間是兩種工作模式，作業系統運行在內核空間，而用戶態應用程式運行在用戶空間，它們代表不同的級別，而對系統資源具有不同的訪問許可權。

這樣程式碼（指令）執行存在不同的CPU上下文，而進行調度的時候，要進行相應的CPU上下文切換，Linux系統存在不同堆棧來保存CPU上下文，系統中每個進程都會擁有屬於自己的內核棧，而系統中每個CPU都將為中斷處理準備了兩個獨立的中斷棧，分別是hardirq棧和softirq棧：

 

​

 

Linux系統調用CPU上下文切換堆棧結構：

        

​

 

  • 中斷上下文：中斷程式碼運行於內核空間，中斷上下文即運行中斷程式碼所需要的CPU上下文環境，需要硬體傳遞過來的這些參數，內核需要保存的一些其他環境（主要是當前被打斷執行的進程或其他中斷環境），這些一般都保存在中斷棧中（x86是獨立的，其他可能和內核棧共享，這和具體處理架構密切相關），在中斷結束後，進程仍然可以從原來的狀態恢復運行。

  • 進程上下文：進程是由內核來管理和調度的，進程的切換髮生在內核態，進程的上下文不僅包括了虛擬記憶體、棧、全局變數等用戶空間的資源，還包括了內核堆棧、暫存器等內核空間的狀態。

  • 系統調用上下文：進程可以在內核空間和用戶空間運行，分別稱為進程的用戶態和進程的內核態, 從用戶態到內核態的轉變需要通過系統調用來完成，需要進行CPU上下文切換，在執行系統調用時候，需要保存用戶態的CPU上下文（用戶態堆棧）到內核堆棧，然後載入內核態的CPU上下文。

  • CPU處理器總處於以下狀態中的一種：
    １、內核態，運行於進程上下文，內核代表進程運行於內核空間；
    ２、內核態，運行於中斷上下文，內核代表硬體運行於內核空間；
    ３、用戶態，運行於用戶空間。

 

 

                             

                                 中斷

​

 

 

中斷是由硬體設備產生的，而它們從物理上說就是電訊號，之後，它們通過中斷控制器發送給CPU，接著CPU判斷收到的中斷來自於哪個硬體設備（這定義在內核中），最後，由CPU發送給內核，內核來處理中斷。

 

​

硬中斷簡單處理流程：

​

硬中斷實現：中斷控制器+中斷服務程式

中斷框架設計(x86)：

​

X86電腦的 CPU 為中斷只提供了兩條外接引腳：NMI 和 INTR。其中 NMI 是不可屏蔽中斷，它通常用於電源掉電和物理存儲器奇偶校驗；INTR是可屏蔽中斷，可以通過設置中斷屏蔽位來進行中斷屏蔽，它主要用於接受外部硬體的中斷訊號，這些訊號由中斷控制器傳遞給 CPU。當前x86 SMP架構主流都是採用多級I/O APIC（高級可編程中斷控制器）中斷系統。

Local APIC：主要負責傳遞中斷訊號到指定的處理器；

I/O APIC：主要是收集來自 I/O 裝置的 Interrupt 訊號且在當那些裝置需要中斷時發送訊號到本地 APIC；

 

中斷分類：

中斷可分為同步（synchronous）中斷和非同步（asynchronous）中斷：

  • 同步中斷是當指令執行時由 CPU 控制單元主動產生，之所以稱為同步，是因為只有在一條指令執行完畢後 CPU 才會發出中斷，而不是發生在程式碼指令執行期間，比如系統調用，根據 Intel 官方資料，同步中斷稱為異常（exception），異常可分為故障（fault）、陷阱（trap）、終止（abort）三類。

  • 非同步中斷是指由其他硬體設備依照 CPU 時鐘訊號隨機產生，即意味著中斷能夠在指令之間發生，例如鍵盤中斷，非同步中斷被稱為中斷（interrupt），中斷可分為可屏蔽中斷（Maskable interrupt）和非屏蔽中斷（Nomaskable interrupt）。

  1. 非屏蔽中斷(Non-maskable interrupts,即NMI）：就像這種中斷類型的字面意思一樣，這種中斷是不可能被CPU忽略或取消的。NMI是在單獨的中斷線路上進行發送的，它通常被用於關鍵性硬體發生的錯誤，如記憶體錯誤，風扇故障，溫度感測器故障等。

  2. 可屏蔽中斷（Maskable interrupts）：這些中斷是可以被CPU忽略或延遲處理的。當快取控制器的外部針腳被觸發的時候就會產生這種類型的中斷，而中斷屏蔽暫存器就會將這樣的中斷屏蔽掉。我們可以將一個比特位設置為0，來禁用在此針腳觸發的中斷。

處理流程：

​

區別：

​

相同點：

1.最後都是由CPU發送給內核，由內核去處理；

2.處理程式的流程設計上是相似的。

不同點：

1.產生源不相同，陷阱、異常是由CPU產生的，而中斷是由硬體設備產生的；

2.內核需要根據是異常，陷阱，還是中斷調用不同的處理程式；

3.中斷不是時鐘同步的，這意味著中斷可能隨時到來；陷阱、異常是CPU產生的，所以，它是時鐘同步的；

4.當處理中斷時，處於中斷上下文中；處理陷阱、異常時，處於進程上下文中。

 

中斷親和：

  • 在 SMP 體系結構中，我們可以通過系統調用和一組相關的宏來設置 CPU 親和力（CPU affinity），將一個或多個進程綁定到一個或多個處理器上運行。中斷在這方面也毫不示弱，也具有相同的特性。中斷親和力是指將一個或多個中斷源綁定到特定的 CPU 上運行；

  • 在 /proc/irq 目錄中，對於已經註冊中斷處理程式的硬體設備，都會在該目錄下存在一個以該中斷號命名的目錄 IRQ# ，IRQ# 目錄下有一個 smp_affinity 文件（SMP 體系結構才有該文件），它是一個 CPU 的位掩碼，可以用來設置該中斷的親和力， 默認值為 0xffffffff，表明把中斷髮送到所有的 CPU 上去處理。如果中斷控制器不支援 IRQ affinity，不能改變此默認值，同時也不能關閉所有的 CPU 位掩碼，即不能設置成 0x0；

  • 中斷親和好處是，在大量硬體中斷場景，對於文件伺服器、高流量 Web 伺服器這樣的應用來說，把不同的網卡 IRQ 均衡綁定到不同的 CPU 上將會減輕某個 CPU 的負擔，提高多個 CPU 整體處理中斷的能力；對於資料庫伺服器這樣的應用來說，把磁碟控制器綁到一個 CPU、把網卡綁定到另一個 CPU 將會提高資料庫的響應時間，優化性能。合理的根據自己的生產環境和應用的特點來平衡 IRQ 中斷有助於提高系統的整體吞吐能力和性能；

 

Linux系統常見中斷分類

時鐘中斷：

時鐘晶片產生，主要工作是處理和時間有關的所有資訊，決定是否執行調度程式以及處理下半部分。和時間有關的所有資訊包括系統時間、進程的時間片、延時、使用CPU的時間、各種定時器，進程更新後的時間片為進程調度提供依據，然後在時鐘中斷返回時決定是否要執行調度程式。下半部分處理程式是Linux提供的一種機制，它使一部分工作推遲執行。時鐘中斷要絕對保證維持系統時間的準確性，「時鐘中斷」是整個作業系統的脈搏。

NMI中斷：

外部硬體通過CPU的 NMI Pin 去觸發（硬體觸發），或者軟體向CPU系統匯流排上投遞一個NMI類型中斷（軟體觸發），NMI中斷的主要用途有兩個：

  • 用來告知作業系統有硬體錯誤（Hardware Failure），如記憶體錯誤，風扇故障，溫度感測器故障等；

  • 用來做看門狗定時器，檢測CPU死鎖等；

硬體IO中斷：

大多數硬體外設IO中斷，比如網卡，鍵盤，硬碟，滑鼠，USB，串口等；

虛擬中斷：

KVM裡面一些中斷退出和中斷注入等，軟體模擬中斷；

查看方式：cat /proc/interrupts

​

Linux系統中斷處理

​

由於中斷會打斷內核中進程的正常調度運行，所以要求中斷服務程式儘可能的短小精悍；但是在實際系統中，當中斷到來時，要完成工作往往需要進行大量的耗時處理。因此期望讓中斷處理程式運行得快，並想讓它完成的工作量多，這兩個目標相互制約，誕生頂/底半部機制。

中斷上半部分：

中斷處理程式是頂半部——接受中斷，它就立即開始執行，但只有做嚴格時限的工作。能夠被允許稍後完成的工作會推遲到底半部去，此後，在合適的時機，底半部會被開終端執行。頂半部簡單快速，執行時禁止部分或者全部中斷。

中斷下半部分：

底半部稍後執行，而且執行期間可以響應所有的中斷。這種設計可以使系統處於中斷屏蔽狀態的時間儘可能的短，以此來提高系統的響應能力。頂半部只有中斷處理程式機制，而底半部的實現有軟中斷，tasklet和工作隊列等實現方式；

 

軟中斷

軟中斷作為下半部機制的代表，是隨著SMP（share memory processor）的出現應運而生的，它也是tasklet實現的基礎（tasklet實際上只是在軟中斷的基礎上添加了一定的機制）。軟中斷一般是「可延遲函數」的總稱，有時候也包括了tasklet（請讀者在遇到的時候根據上下文推斷是否包含tasklet）。它的出現就是因為要滿足上面所提出的上半部和下半部的區別，使得對時間不敏感的任務延後執行，而且可以在多個CPU上並行執行，使得總的系統效率可以更高。它的特性包括：產生後並不是馬上可以執行，必須要等待內核的調度才能執行。軟中斷不能被自己打斷(即單個cpu上軟中斷不能嵌套執行)，只能被硬體中斷打斷（上半部）， 可以並發運行在多個CPU上（即使同一類型的也可以）。所以軟中斷必須設計為可重入的函數（允許多個CPU同時操作），因此也需要使用自旋鎖來保護其數據結構。

軟中斷的調度時機:

  1. do_irq完成I/O中斷時調用irq_exit。

  2. 系統使用I/O APIC，在處理完本地時鐘中斷時。

  3. local_bh_enable，即開啟本地軟中斷時。

  4. SMP系統中，cpu處理完被CALL_FUNCTION_VECTOR處理器間中斷所觸發的函數時。

  5. ksoftirqd/n執行緒被喚醒時。

     

     

軟中斷內核執行緒

在 Linux 中，中斷具有最高的優先順序。不論在任何時刻，只要產生中斷事件，內核將立即執行相應的中斷處理程式，等到所有掛起的中斷和軟中斷處理完畢後才能執行正常的任務，因此有可能造成實時任務得不到及時的處理。中斷執行緒化之後，中斷將作為內核執行緒運行而且被賦予不同的實時優先順序，實時任務可以有比中斷執行緒更高的優先順序。這樣，具有最高優先順序的實時任務就能得到優先處理，即使在嚴重負載下仍有實時性保證。但是，並不是所有的中斷都可以被執行緒化，比如時鐘中斷，主要用來維護系統時間以及定時器等，其中定時器是作業系統的脈搏，一旦被執行緒化，就有可能被掛起，後果將不堪設想，所以不應當被執行緒化。

軟中斷優先在 irq_exit() 中執行，如果超過時間等條件轉為 softirqd 執行緒中執行。滿足以下任一條件軟中斷在 softirqd 執行緒中執行：

在 irq_exit()->__do_softirq() 中運行，時間超過 2ms。

在 irq_exit()->__do_softirq() 中運行，輪詢軟中斷超過 10 次。

在 irq_exit()->__do_softirq() 中運行，本執行緒需要被調度。

註：調用 raise_softirq() 喚醒軟中斷時，不在中斷環境中。

 

TASKLET

由於軟中斷必須使用可重入函數，這就導致設計上的複雜度變高，作為設備驅動程式的開發者來說，增加了負擔。而如果某種應用並不需要在多個CPU上並行執行，那麼軟中斷其實是沒有必要的。因此誕生了彌補以上兩個要求的tasklet。它具有以下特性：

a）一種特定類型的tasklet只能運行在一個CPU上，不能並行，只能串列執行。

b）多個不同類型的tasklet可以並行在多個CPU上。

c）軟中斷是靜態分配的，在內核編譯好之後，就不能改變。但tasklet就靈活許多，可以在運行時改變（比如添加模組時）。

tasklet是在兩種軟中斷類型的基礎上實現的，因此如果不需要軟中斷的並行特性，tasklet就是最好的選擇。也就是說tasklet是軟中斷的一種特殊用法，即延遲情況下的串列執行。

 

tasklet有兩種，tasklet 和 hi-tasklet：

前者對應softirq_vec［TASKLET_SOFTIRQ］；

後者對應softirq_vec[HI_SOFTIRQ]。只是後者排在softirq_vec[]的第一個，所以更早被執行;

 

/proc/softirqs 提供了軟中斷的運行情況

# cat /proc/softirqs
CPU0      
          HI:    1   //高優先順序TASKLET軟中斷
       TIMER:   12571001  //定時器軟中斷
      NET_TX:     826165  //網卡發送軟中斷
      NET_RX:    6263015  //網卡接收軟中斷
       BLOCK:    1403226  //塊設備處理軟中斷
BLOCK_IOPOLL:   0  //塊設備處理軟中斷
     TASKLET:   3752   //普通TASKLET軟中斷
       SCHED:     0  //調度軟中斷
     HRTIMER:   0  //當前已經沒有使用
         RCU:    9729155  //RCU處理軟中斷，主要是callback函數處理

 

 

工作隊列

 

​

 

工作隊列(work queue)是Linux kernel中將工作推後執行的一種機制。軟中斷運行在中斷上下文中，因此不能阻塞和睡眠，而tasklet使用軟中斷實現，當然也不能阻塞和睡眠，工作隊列可以把工作推後，交由一個內核執行緒去執行—這個下半部分總是會在進程上下文執行，因此工作隊列的優勢就在於它允許重新調度甚至睡眠。

 

​

 

workqueue 中幾個角色關係：

 

  • work ：工作/任務。

  • workqueue ：工作的集合。workqueue 和 work 是一對多的關係。

  • worker ：工人。在程式碼中 worker 對應一個work_thread() 內核執行緒。

  • worker_pool：工人的集合。worker_pool 和 worker 是一對多的關係。

  • pwq(pool_workqueue)：中間人 / 中介，負責建立起 workqueue 和 worker_pool 之間的關係。workqueue 和 pwq 是一對多的關係，pwq 和 worker_pool 是一對一的關係。

     

通常，在工作隊列和軟中斷/tasklet中作出選擇，可使用以下規則：

 

  • 如果推後執行的任務需要睡眠，那麼只能選擇工作隊列。

  • 如果推後執行的任務需要延時指定的時間再觸發，那麼使用工作隊列，因為其可以利用timer延時(內核定時器實現)。

  • 如果推後執行的任務需要在一個tick之內處理，則使用軟中斷或tasklet，因為其可以搶佔普通進程和內核執行緒，同時不可睡眠。

  • 如果推後執行的任務對延遲的時間沒有任何要求，則使用工作隊列，此時通常為無關緊要的任務。

 

實際上，工作隊列的本質就是將工作交給內核執行緒處理，因此其可以用內核執行緒替換。但是內核執行緒的創建和銷毀對編程者的要求較高，而工作隊列實現了內核執行緒的封裝，不易出錯，推薦使用工作隊列。

 

中斷上下文

中斷程式碼運行於內核空間，中斷上下文即運行中斷程式碼所需要CPU上下文環境，需要硬體傳遞過來的這些參數，內核需要保存的一些其他環境（主要是當前被打斷執行的進程或其他中斷環境），這些一般都保存在中斷棧中（x86是獨立的，其他可能和內核棧共享，這和具體處理架構密切相關），在中斷結束後，進程仍然可以從原來的狀態恢復運行。

 

是否處於中斷中，在Linux中是通過preempt_count來判斷的，具體如下：

​

#define in_irq()     (hardirq_count()) //在處理硬中斷中

#define in_softirq()     (softirq_count()) //在處理軟中斷中

#define in_interrupt()   (irq_count()) //在處理硬中斷或軟中斷中

#define in_atomic()     ((preempt_count() & ~PREEMPT_ACTIVE) != 0) //包含以上所有情況

 

總結和注意的點：

 

1.Linux kernel的設計者制定了規則：

  • 中斷上下文不是調度實體，task才是【進程（主執行緒）或者執行緒】;

  • 優先順序順序：硬中斷上下文 > 軟中斷上下文 > 進程上下文 ;

中斷上下文（hardirq和softirq context）並不參與調度（暫不考慮中斷執行緒化），它們是非同步事件的處理機制，目標就是儘快完成處理，返回現場。因此，所有中斷上下文的優先順序都是高於進程上下文的。也就是說，對於用戶進程（無論內核態還是用戶態）或者內核執行緒，除非disable了CPU的本地中斷，否則一旦中斷髮生，它們是沒有任何能力阻擋中斷上下文搶佔當前進程上下文的執行的。

 

2.Linux 將中斷處理過程分成了兩個階段，也就是上半部和下半部：

  • 上半部用來快速處理中斷，它在中斷禁止模式下運行，主要處理跟硬體緊密相關的或時間敏感的工作，需要快速執行；

  • 下半部用來延遲處理上半部未完成的工作，通常以軟中斷方式運行，可以延遲執行。

     

3. 硬中斷和軟中斷（只要是中斷上下文）執行的時候都不允許內核搶佔（本文後續章節會講內核搶佔）。因為在中斷上下文中,唯一能打斷當前中斷handler的只有更高優先順序的中斷，它不會被進程打斷(這點對於softirq,tasklet也一樣,因此這些bottom half也不能睡眠)；如果在中斷上下文中睡眠，則沒有辦法喚醒它，因為所有的wake_up_xxx都是針對某個進程而言的，而在中斷上下文中，沒有進程的概念，沒有相應task_struct(這點對於softirq和tasklet一樣)，因此真的睡眠了，比如調用了會導致阻塞的常式，內核幾乎會掛。

 

4.硬中斷可以被另一個優先順序比自己高的硬中斷「中斷」，不能被同級（同一種硬中斷）或低級的硬中斷「中斷」，更不能被軟中斷「中斷」。軟中斷可以被硬中斷「中斷」，但是不會被另一個軟中斷「中斷」。在一個CPU上，軟中斷總是串列執行。所以在單處理器上，對軟中斷的數據結構進行訪問不需要加任何同步原語。

 

5.關中斷不會丟失中斷，但是對於期間到來的多個相同的中斷會合併成一個，即只處理一次；時鐘中斷中需要更新jieffis計數值，如果多個中斷合成一個，為了減少影響jieffis值準確性，需要其他硬體時鐘來矯正。

 

 

關注公眾號，獲取全部內容：

​

想要獲取linux調度全景指南精簡版，關注公眾號回復「調度」即可獲取。回復其他消息，獲取更多內容；

                                       

​

往期推薦

​

           

​

掃碼二維碼

獲取更多精彩內容

 

​

​

Tags:

VirMach 便宜 VPS

QNews

QNews