InnoDB存儲引擎之記憶體管理
- 2019 年 11 月 6 日
- 筆記
在InnoDB存儲引擎中，資料庫中的緩衝池是通過LRU(Latest Recent Used，最近最少使用)演算法來進行管理的，即最頻繁使用的頁在LRU列表的最前段，而最少使用的頁在LRU列表的尾端，當緩衝池不能存放新讀取到的頁時，首先釋放LRU列表尾端的頁。
上面的圖中，我使用8個數據頁來表示隊列，具體作用，先賣個關子。在InnoDB存儲引擎中，緩衝池中頁的默認大小是16KB，LRU列表中有一個midpoint的位置，新讀取到的數據頁並不是直接放入到LRU列表的首部，而是放入到LRU列表的midpoint位置，這個操作稱之為midpoint insertion stategy，也叫中間點插入策略。在默認配置下，該位置在LRU長度的5/8處，這也就是上面使用8個數據頁的作用。下面的圖示意了新的數據頁的插入過程：
mitpoint的位置可通過參數innodb_old_blocks_pct控制，如下：
mysql> show variables like 'innodb_old_blocks_pct'; +-----------------------+-------+ | Variable_name | Value | +-----------------------+-------+ | innodb_old_blocks_pct | 37 | +-----------------------+-------+ row in set (. sec)
從上面的例子看出，結果是37，這個37意味著新讀取的頁將被插入到大概距離LRU列表尾端37%的位置，差不多3/8的位置，在InnoDB存儲引擎中，midpoint之前的頁稱為new列表，後面的頁稱之為old列表，new列表中的頁是最為活躍的數據。
為什麼不直接把數據頁放在LRU隊列的首部？
之所以不把新讀取的數據頁放在LRU隊列的首部，是因為某些全表掃描的SQL操作可能會將所有的熱點數據都刷新出LRU隊列，導致下一次訪問熱點數據的時候，必須從磁碟中取相應的數據，從而影響緩衝池的效率。為了解決這個問題，InnoDB使用另外一個參數來管理LRU列表，就是innodb_old_blocks_time，用於表示頁讀取到midpoint之後，多久才會加入到LRU列表的熱端。因此當需要執行上述所說的SQL操作時，可以通過下面的方法儘可能使LRU列表中的熱點數據不被刷出。
mysql> set global innodb_old_blocks_time=; Query OK, rows affected (0.00 sec)
這表示在1000s之後，才允許這些數據刷新到LRU列表的熱端。
如果在實際情況中，數據頁活躍的比率不止63%，用戶還可以通過設置innodb_old_blocks_pct來減少熱點頁可能被刷出的概率。
mysql> set global innodb_old_blocks_pct=; Query OK, rows affected (0.00 sec)
當資料庫剛啟動時，LRU的內容是空的，這個時候，所有的數據頁都放在Free列表中，當需要從緩衝池中分頁時，首先從Free列表中查找是否有可用的Free頁，如果存在，則將該頁從Free頁中刪除，然後放入到LRU的列表中。淘汰掉LRU列表末尾的數據頁，將該記憶體空間分配給新的頁。這個過程的流程圖如下：
當LRU列表中的頁從old部分加入到new部分時，稱此時發生的操作是page made young，而因為innodb_old_blocks_time的設置而沒有從old部分移動到new部分的操作稱之為page_not_made young。可以通過show engine innodb status來觀察LRU列表以及Free列表的使用情況和運行狀態。
mysql> show engine innodb statusG *** *** ---------------------- BUFFER POOL AND MEMORY ---------------------- Total large memory allocated Dictionary memory allocated Buffer pool size Free buffers Database pages Old database pages Modified db pages Pending reads Pending writes: LRU , flush list , single page Pages made young , not young 0.00 youngs/s, 0.00 non-youngs/s Pages read , created , written 0.00 reads/s, 0.00 creates/s, 0.00 writes/s No buffer pool page gets since the last printout Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s LRU len: , unzip_LRU len: I/O sum[]:cur[], unzip sum[]:cur[] -------------- ROW OPERATIONS -------------- queries inside InnoDB, queries in queue read views open inside InnoDB Process ID=, Main thread ID=, state: sleeping Number of rows inserted , updated , deleted , read 0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s ---------------------------- END OF INNODB MONITOR OUTPUT ============================ row in set (0.00 sec)
從上面的結果可以看到：當前buffer pool size總共有8191個頁，每個數據頁的大小是16k，總共的大小是8191*16k=128M的緩衝池，其中Free buffers表示當前Free列表中頁的數量。page made young顯示了LRU列表中頁移動到前端的次數，因為該伺服器在運行階段沒有改變innodb_old_blocks_time的值，因此not young為0，youngs/s、non_youngs/s表示每秒這兩類操作的次數。
InnoDB存儲引擎從1.0.x版本開始支援壓縮頁的功能，即將原本16kb的數據頁壓縮成1KB、2KB、4KB和8KB。對於非16KB的頁，是通過unzip_LRU來管理的，上述命令中的第22行就顯示了壓縮頁和非壓縮頁的資訊。
需要注意的一點是Free buffers的值與Database Pages的值之和不一定等於buffer pool size，因為緩衝池中的頁可能還會被分配各自適應哈希索引、鎖資訊等頁，而這部分頁並不需要LRU演算法進行維護。
臟頁
在LRU列表中的頁被修改之後，這個頁就稱之為「臟頁」，即緩衝池中的數據頁和磁碟上的數據產生了不一致，緩衝池的數據比較新，這時資料庫會通過checkpoint機制將臟頁刷新回磁碟，而Flush列表中的頁也就是臟頁列表，臟頁既存在於LRU列表中，也存在與Flush列表中，LRU列表用來管理緩衝池中頁的可用性，Flush列表用來管理將頁刷新回磁碟，二者不影響。Flush列表也可以通過show engine innodb status來查看，前面的結果列表中的第13行，modified db pages就是當前的臟頁數量，用戶可以通過元數據表INNODB_BUFFER_PAGE_LRU表來查看。
