【原創】（八）Linux內存管理 – zoned page frame allocator – 3
- 2019 年 10 月 20 日
- 筆記
背景
Read the fucking source code!–By 魯迅A picture is worth a thousand words.–By 高爾基
說明：
- Kernel版本：4.14
- ARM64處理器，Contex-A53，雙核
- 使用工具：Source Insight 3.5， Visio
1. 概述
本文將分析watermark。
簡單來說，在使用zoned page frame allocator分配頁面時，會將可用的free pages與zone的watermark進行比較，以便確定是否分配內存。
同時watermark也用來決定kswapd內核線程的睡眠與喚醒，以便對內存進行檢索和壓縮處理。
回憶一下之前提到過的struct zone結構體：
struct zone { /* Read-mostly fields */ /* zone watermarks, access with *_wmark_pages(zone) macros */ unsigned long watermark[NR_WMARK]; unsigned long nr_reserved_highatomic; .... } enum zone_watermarks { WMARK_MIN, WMARK_LOW, WMARK_HIGH, NR_WMARK }; #define min_wmark_pages(z) (z->watermark[WMARK_MIN]) #define low_wmark_pages(z) (z->watermark[WMARK_LOW]) #define high_wmark_pages(z) (z->watermark[WMARK_HIGH])可以看出，總共有三種水印，並且只能通過特定的宏來訪問。
-
WMARK_MIN
內存不足的最低點，如果計算出的可用頁面低於該值，則無法進行頁面計數； -
WMARK_LOW
默認情況下，該值為WMARK_MIN的125%，此時kswapd將被喚醒，可以通過修改watermark_scale_factor來改變比例值； -
WMARK_HIGH
默認情況下，該值為WMARK_MAX的150%，此時kswapd將睡眠，可以通過修改watermark_scale_factor來改變比例值；
圖來了：
下邊將對細節進一步分析。
1. watermark初始化
先看一下初始化的相關調用函數：
-
nr_free_buffer_pages：統計ZONE_DMA和ZONE_NORMAL中可用頁面，managed_pages - high_pages； -
setup_per_zone_wmarks：根據min_free_kbytes來計算水印值，來一張圖會比較清晰易懂：
refresh_zone_stat_thresholds：
先來回顧一下struct pglist_data和struct zone：
typedef struct pglist_data { ... struct per_cpu_nodestat __percpu *per_cpu_nodestats; ... } pg_data_t; struct per_cpu_nodestat { s8 stat_threshold; s8 vm_node_stat_diff[NR_VM_NODE_STAT_ITEMS]; }; struct zone { ... struct per_cpu_pageset __percpu *pageset; ... } struct per_cpu_pageset { struct per_cpu_pages pcp; #ifdef CONFIG_NUMA s8 expire; u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS]; #endif #ifdef CONFIG_SMP s8 stat_threshold; s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS]; #endif }; 從數據結構中可以看出，針對Node和Zone，都有一個Per-CPU的結構來存儲信息，而refresh_zone_stat_thresholds就跟這兩個結構相關，用於更新這兩個結構中的stat_threshold字段，具體的計算方式就不表了，此外還計算了percpu_drift_mark，這個在水印判斷的時候需要用到該值。閾值的作用就是用來進行判斷，從而觸發某個行為，比如內存壓縮處理等。
-
setup_per_zone_lowmem_reserve：
設置每個zone的lowmem_reserve大小，代碼中的實現邏輯如下圖所示。
-
calculate_totalreserve_pages：
計算各個zone的保留頁面，以及系統的總的保留頁面，其中會將high watermark看成保留頁面。如圖：
2. watermark判斷
老規矩，先看看函數調用關係圖：
__zone_watermark_ok：
watermark判斷的關鍵函數，從圖中的調用關係可以看出，最終的處理都是通過它來完成判斷的。還是用圖片來說明整體邏輯吧：
上圖中左邊判斷是否有足夠的空閑頁面，右邊直接查詢free_area[]是否可以最終進行分配。
-
zone_watermark_ok
：直接調用__zone_watermark_ok`，沒有其他邏輯。 zone_watermark_fast：
從名字可以看出，這個是進行快速判斷，快速的體現主要是在order = 0的時候進行判斷決策，滿足條件時直接返回true，否則調用__zone_watermark_ok。
貼個代碼吧，清晰明了：
static inline bool zone_watermark_fast(struct zone *z, unsigned int order, unsigned long mark, int classzone_idx, unsigned int alloc_flags) { long free_pages = zone_page_state(z, NR_FREE_PAGES); long cma_pages = 0; #ifdef CONFIG_CMA /* If allocation can't use CMA areas don't use free CMA pages */ if (!(alloc_flags & ALLOC_CMA)) cma_pages = zone_page_state(z, NR_FREE_CMA_PAGES); #endif /* * Fast check for order-0 only. If this fails then the reserves * need to be calculated. There is a corner case where the check * passes but only the high-order atomic reserve are free. If * the caller is !atomic then it'll uselessly search the free * list. That corner case is then slower but it is harmless. */ if (!order && (free_pages - cma_pages) > mark + z->lowmem_reserve[classzone_idx]) return true; return __zone_watermark_ok(z, order, mark, classzone_idx, alloc_flags, free_pages); } zone_watermark_ok_safe：
在zone_watermark_ok_safe函數中，主要增加了zone_page_state_snapshot的調用，用來計算free_pages，這個計算過程將比直接通過zone_page_state(z, NR_FREE_PAGES)更加精確。
bool zone_watermark_ok_safe(struct zone *z, unsigned int order, unsigned long mark, int classzone_idx) { long free_pages = zone_page_state(z, NR_FREE_PAGES); if (z->percpu_drift_mark && free_pages < z->percpu_drift_mark) free_pages = zone_page_state_snapshot(z, NR_FREE_PAGES); return __zone_watermark_ok(z, order, mark, classzone_idx, 0, free_pages); }percpu_drift_mask在refresh_zone_stat_thresholds函數中設置的，這個在上文中已經討論過了。
每個zone維護了三個字段用於頁面的統計，如下：
struct zone { ... struct per_cpu_pageset __percpu *pageset; ... /* * When free pages are below this point, additional steps are taken * when reading the number of free pages to avoid per-cpu counter * drift allowing watermarks to be breached */ unsigned long percpu_drift_mark; ... /* Zone statistics */ atomic_long_t vm_stat[NR_VM_ZONE_STAT_ITEMS]; }內核在內存管理中，讀取空閑頁面與watermark值進行比較，要讀取正確的空閑頁面值，必須同時讀取vm_stat[]和__percpu *pageset計算器。如果每次都讀取的話會降低效率，因此設定了percpu_drift_mark值，只有在低於這個值的時候，才觸發更精確的計算來保持性能。
__percpu *pageset計數器的值更新時，當計數器值超過stat_threshold值，會更新到vm_stat[]中，如下圖：
zone_watermark_ok_safe中調用了zone_page_state_snapshot，與zone_page_state的區別如下圖所示：
watermark的分析到此為止，收工！
