【原创】（八）Linux内存管理 – zoned page frame allocator – 3

  • 2019 年 10 月 20 日
  • 筆記

背景

  • Read the fucking source code! –By 鲁迅
  • A picture is worth a thousand words. –By 高尔基

说明：

  1. Kernel版本：4.14
  2. ARM64处理器，Contex-A53，双核
  3. 使用工具：Source Insight 3.5， Visio

1. 概述

本文将分析watermark。
简单来说，在使用zoned page frame allocator分配页面时，会将可用的free pages与zone的watermark进行比较，以便确定是否分配内存。
同时watermark也用来决定kswapd内核线程的睡眠与唤醒，以便对内存进行检索和压缩处理。

回忆一下之前提到过的struct zone结构体：

struct zone {      /* Read-mostly fields */        /* zone watermarks, access with *_wmark_pages(zone) macros */      unsigned long watermark[NR_WMARK];        unsigned long nr_reserved_highatomic;        ....  }    enum zone_watermarks {      WMARK_MIN,      WMARK_LOW,      WMARK_HIGH,      NR_WMARK  };    #define min_wmark_pages(z) (z->watermark[WMARK_MIN])  #define low_wmark_pages(z) (z->watermark[WMARK_LOW])  #define high_wmark_pages(z) (z->watermark[WMARK_HIGH])

可以看出，总共有三种水印，并且只能通过特定的宏来访问。

  • WMARK_MIN
    内存不足的最低点，如果计算出的可用页面低于该值，则无法进行页面计数；

  • WMARK_LOW
    默认情况下，该值为WMARK_MIN的125%，此时kswapd将被唤醒，可以通过修改watermark_scale_factor来改变比例值；

  • WMARK_HIGH
    默认情况下，该值为WMARK_MAX的150%，此时kswapd将睡眠，可以通过修改watermark_scale_factor来改变比例值；

图来了：

下边将对细节进一步分析。

1. watermark初始化

先看一下初始化的相关调用函数：

  • nr_free_buffer_pages：统计ZONE_DMA和ZONE_NORMAL中可用页面，managed_pages - high_pages；

  • setup_per_zone_wmarks：根据min_free_kbytes来计算水印值，来一张图会比较清晰易懂：

  • refresh_zone_stat_thresholds：
    先来回顾一下struct pglist_data和struct zone：
typedef struct pglist_data {  ...  struct per_cpu_nodestat __percpu *per_cpu_nodestats;  ...  } pg_data_t;    struct per_cpu_nodestat {      s8 stat_threshold;      s8 vm_node_stat_diff[NR_VM_NODE_STAT_ITEMS];  };    struct zone {  ...  struct per_cpu_pageset __percpu *pageset;  ...  }    struct per_cpu_pageset {      struct per_cpu_pages pcp;  #ifdef CONFIG_NUMA      s8 expire;      u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS];  #endif  #ifdef CONFIG_SMP      s8 stat_threshold;      s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS];  #endif  };

从数据结构中可以看出，针对Node和Zone，都有一个Per-CPU的结构来存储信息，而refresh_zone_stat_thresholds就跟这两个结构相关，用于更新这两个结构中的stat_threshold字段，具体的计算方式就不表了，此外还计算了percpu_drift_mark，这个在水印判断的时候需要用到该值。阈值的作用就是用来进行判断，从而触发某个行为，比如内存压缩处理等。

  • setup_per_zone_lowmem_reserve：
    设置每个zone的lowmem_reserve大小，代码中的实现逻辑如下图所示。

  • calculate_totalreserve_pages：
    计算各个zone的保留页面，以及系统的总的保留页面，其中会将high watermark看成保留页面。如图：

2. watermark判断

老规矩，先看看函数调用关系图：

  • __zone_watermark_ok：
    watermark判断的关键函数，从图中的调用关系可以看出，最终的处理都是通过它来完成判断的。还是用图片来说明整体逻辑吧：

上图中左边判断是否有足够的空闲页面，右边直接查询free_area[]是否可以最终进行分配。

  • zone_watermark_ok：直接调用__zone_watermark_ok`，没有其他逻辑。

  • zone_watermark_fast：
    从名字可以看出，这个是进行快速判断，快速的体现主要是在order = 0的时候进行判断决策，满足条件时直接返回true，否则调用__zone_watermark_ok。
    贴个代码吧，清晰明了：
static inline bool zone_watermark_fast(struct zone *z, unsigned int order,          unsigned long mark, int classzone_idx, unsigned int alloc_flags)  {      long free_pages = zone_page_state(z, NR_FREE_PAGES);      long cma_pages = 0;    #ifdef CONFIG_CMA      /* If allocation can't use CMA areas don't use free CMA pages */      if (!(alloc_flags & ALLOC_CMA))          cma_pages = zone_page_state(z, NR_FREE_CMA_PAGES);  #endif        /*       * Fast check for order-0 only. If this fails then the reserves       * need to be calculated. There is a corner case where the check       * passes but only the high-order atomic reserve are free. If       * the caller is !atomic then it'll uselessly search the free       * list. That corner case is then slower but it is harmless.       */      if (!order && (free_pages - cma_pages) > mark + z->lowmem_reserve[classzone_idx])          return true;        return __zone_watermark_ok(z, order, mark, classzone_idx, alloc_flags,                      free_pages);  }
  • zone_watermark_ok_safe：
    在zone_watermark_ok_safe函数中，主要增加了zone_page_state_snapshot的调用，用来计算free_pages，这个计算过程将比直接通过zone_page_state(z, NR_FREE_PAGES)更加精确。
bool zone_watermark_ok_safe(struct zone *z, unsigned int order,              unsigned long mark, int classzone_idx)  {      long free_pages = zone_page_state(z, NR_FREE_PAGES);        if (z->percpu_drift_mark && free_pages < z->percpu_drift_mark)          free_pages = zone_page_state_snapshot(z, NR_FREE_PAGES);        return __zone_watermark_ok(z, order, mark, classzone_idx, 0,                                  free_pages);  }

percpu_drift_mask在refresh_zone_stat_thresholds函数中设置的，这个在上文中已经讨论过了。
每个zone维护了三个字段用于页面的统计，如下：

struct zone {  ...  struct per_cpu_pageset __percpu *pageset;  ...  /*   * When free pages are below this point, additional steps are taken   * when reading the number of free pages to avoid per-cpu counter   * drift allowing watermarks to be breached   */  unsigned long percpu_drift_mark;  ...  /* Zone statistics */  atomic_long_t       vm_stat[NR_VM_ZONE_STAT_ITEMS];  }

内核在内存管理中，读取空闲页面与watermark值进行比较，要读取正确的空闲页面值，必须同时读取vm_stat[]和__percpu *pageset计算器。如果每次都读取的话会降低效率，因此设定了percpu_drift_mark值，只有在低于这个值的时候，才触发更精确的计算来保持性能。

__percpu *pageset计数器的值更新时，当计数器值超过stat_threshold值，会更新到vm_stat[]中，如下图：

zone_watermark_ok_safe中调用了zone_page_state_snapshot，与zone_page_state的区别如下图所示：

watermark的分析到此为止，收工！

VirMach 便宜 VPS

QNews

QNews