深入理解Mysql索引底層數據結構與演算法
- 2019 年 10 月 3 日
- 筆記
索引是幫助MySQL高效獲取數據的排好序的數據結構
索引數據結構對比
二叉樹
左邊子節點的數據小於父節點數據，右邊子節點的數據大於父節點數據。
如果col2是索引，查找索引為89的行元素，那麼只需要查找兩次，就可以獲取到行元素所在的磁碟指針地址。
如果col1是索引，查找索引為6的行元素，那麼需要查找六次，就可以獲取到行元素所在的磁碟指針地址，即得到了該索引為6的行元素。因此二叉樹不適合存儲單邊增長的序列欄位，近乎全表掃描獲取數據。
紅黑樹
本質二叉樹，屬於二叉平衡樹，jdk1.8 hashmap的底層實現；
存儲大數據量，樹的高度不可控， 數量越大，樹的高度越高；
500w行數據，2的n次方=500w數據量， n是樹的高度，也就是查詢次數；
hash表
通過散列可以快速獲取磁碟文件指針，對於指定索引查找文件非常快，但是對於範圍查找沒法支援。
B樹
本質是多路二叉樹；
葉節點具有相同的深度，葉節點的指針為空；
所有索引元素不重複；
節點中數據索引從左到右依次遞增的；
B+樹（B樹的變種）
非葉子節點不存儲數據，只存儲索引(冗餘)和指針，可以放更多的索引，樹高降低 ；
葉子節點包含所有索引欄位；
葉子節點比b樹增加了指針連接；
葉子節點有雙向指針鏈接(首尾子節點還通過指針連接)，提高區間訪問的性能，範圍查找；
為什麼mysql頁文件默認16K？
MySQL每個B+樹節點最大存儲容量：16KB （指針+數據+索引）。假設我們一行數據大小為1K，那麼一頁就能存16條數據，也就是一個葉子節點能存16條數據；再看非葉子節點，假設主鍵ID為bigint類型，那麼長度為8B，指針大小在Innodb源碼中為6B，一共就是14B，那麼一頁里就可以存儲16K/14=1170個(主鍵+指針)
那麼一顆高度為2的B+樹能存儲的數據為：117016=18720條，一顆高度為3的B+樹能存儲的數據為：11701170*16=21902400（千萬級條）
show global status like `Innodb_page_size`因此，B+樹存儲大數據量的表也可以非常高效的獲取數據，MySQL使用B+樹作為索引的數據結構。
存儲引擎
存儲引擎最終作用於：表 ，不是資料庫
在mysql的安裝的根目錄下，有一個data目錄，裡面存放的是所有表的數據。
- MyISAM：
MyISAM索引文件和數據文件是分離的（非聚集或稀疏）；
主鍵索引和輔助主鍵索引存儲類似；
frm文件：存儲這張表的表結構
MYD文件：存儲這張表的所有數據行
MYI文件：存儲這張表的索引欄位
- InnoDB（聚集）：
表數據文件本身是按照B+tree組織的一個索引結構文件
frm文件：存儲這張表的表結構
ibd文件：存儲這張表的所有數據行和索引欄位
聚集(聚簇)索引—-葉節點包含完整數據記錄
為什麼InnoDB表必須有主鍵，並且推薦使用整型的自增主鍵？
- 首先，為了滿足MySQL的索引數據結構B+樹的特性，必須要有索引作為主鍵，可以有效提高查詢效率，因此InnoDB必須要有主鍵。如果不手動指定主鍵，InnoDB會從插入的數據中找出不重複的一列作為主鍵索引，如果沒找到不重複的一列，InnoDB會在後台增加一列rowId做為主鍵索引。
- 其次，索引的數據類型是整型，一方面整型佔有的磁碟空間或記憶體空間相比字元串更少，另一方面整型比較比字元串比較更快速，字元串比較是先轉換為ASCII碼，然後再比較的。
- 最後，B+樹本質是多路多叉樹，如果主鍵索引不是自增的，那麼後續插入的索引就會引起B+樹的其他節點的分裂和重新平衡，影響數據插入的效率，如果是自增主鍵，只用在尾節點做增加就可以。
為什麼非主鍵索引結構葉子節點存儲的是主鍵值？
- 主鍵索引和非主鍵索引維護各自的B+樹結構，當插入的數據的時候，由於數據只有一份，通過非主鍵索引獲取到主鍵值，然後再去主鍵索引的B+樹數據結構中找到對應的行數據，節省了記憶體空間；
- 如果非主鍵索引的葉子節點也存儲一份數據，如果通過非主鍵索引插入數據，那麼要向主鍵索引對應的行數據進行同步，那麼會帶來數據一致性問題。可以通過事務的方式解決，我們都知道使用事務後，就會對性能有所消耗。
聯合索引
-
聯合索引的底層存儲結構長什麼樣?
定義聯合索引(員工級別，員工姓名，員工出生年月)，將聯合索引按照索引順序放入節點中，新插入節點時，先按照聯合索引中的員工級別比較，如果相同會按照是員工姓名比較，如果員工級別和員工姓名都相同 最後是員工的出生年月比較。可以從圖中從上到下，從左到右看，第一個B+樹的節點 是通過聯合索引的員工級別比較的，第二個節點是 員工級別相同，會按照員工姓名比較，第三個節點是 員工級別和員工姓名都相同，會按照員工出生年月比較。
還沒關注我的公眾號？
- 掃文末二維碼關注公眾號【小強的進階之路】可領取如下:
- 學習資料： 1T影片教程：涵蓋Javaweb前後端教學影片、機器學習/人工智慧教學影片、Linux系統教程影片、雅思考試影片教程；
- 100多本書：包含C/C++、Java、Python三門程式語言的經典必看圖書、LeetCode題解大全；
- 軟體工具：幾乎包括你在編程道路上的可能會用到的大部分軟體；
- 項目源碼：20個JavaWeb項目源碼。
