MySQL 的常用引擎
1. InnoDB
InnoDB 的存儲文件有兩個,後綴名分別是 .frm 和 .idb,其中 .frm 是表的定義文件,而 idb 是數據文件。
InnoDB 中存在表鎖和行鎖,不過行鎖是在命中索引的情況下才會起作用。
InnoDB 支援事務,且支援四種隔離級別(讀未提交、讀已提交、可重複讀、串列化),默認的為可重複讀;而在 Oracle 資料庫中,只支援串列化級別和讀已提交這兩種級別,其中默認的為讀已提交級別。
2. Myisam
Myisam 的存儲文件有三個,後綴名分別是 .frm、.MYD、MYI,其中 .frm 是表的定義文件,.MYD 是數據文件,.MYI 是索引文件。
Myisam 只支援表鎖,且不支援事務。Myisam 由於有單獨的索引文件,在讀取數據方面的性能很高 。
3. 存儲結構
InnoDB 和 Myisam 都是用 B+Tree 來存儲數據的。
MySQL 的數據、索引存儲結構
1. 數據存儲的原理(硬碟)
資訊存儲在硬碟里,硬碟是由很多的碟片組成,通過碟片表面的磁性物質來存儲數據。
把碟片放在顯微鏡下放大,可以看到碟片表面是凹凸不平的,凸起的地方被磁化,代表數字 1,凹的地方沒有被磁化,代表數字 0,因此硬碟可以通過二進位的形式來存儲表示文字、圖片等的資訊。
硬碟有很多種,但是都是由碟片、磁頭、碟片主軸、控制電機、磁頭控制器、數據轉換器、介面、快取等幾個部分組成。
所有的碟片都固定在一個旋轉軸上,這個軸即碟片主軸。
所有的碟片之間是絕對平行的,在每個碟片的盤面上都有一個磁頭,磁頭與碟片之間的距離比頭髮絲的直徑還小。
所有的磁頭連在一個磁頭控制器上,由磁頭控制器負責各個磁頭的運動,磁頭可沿碟片的半徑方向移動,實際上是斜切運動,每個磁頭同一時刻必須是同軸的,即從正上方往下看,所有磁頭任何時候都是重疊的。
由於技術的發展,目前已經有多磁頭獨立技術了,在此不考慮此種情況。
碟片以每分鐘數千轉到上萬轉的速度在高速運轉,這樣磁頭就能對碟片上的指定位置進行數據的讀寫操作。
由於硬碟是高精密設備,塵埃是其大敵,所以必須完全密封。
2. 數據讀寫的原理
硬碟在邏輯上被劃分為磁軌、柱面以及扇區。
磁頭靠近主軸接觸的表面,即線速度最小的地方,是一個特殊的區域,它不存放任何數據,稱為啟停區或者著陸區,啟停區外就是數據區。
在最外圈,離主軸最遠的地方是 「0」 磁軌,硬碟數據的存放就是從最外圈開始的。
在硬碟中還有一個叫 「0」 磁軌檢測器的構件,它是用來完成硬碟的初始定位。
盤面
硬碟的碟片一般用鋁合金材料做基片,硬碟的每一個碟片都有上下兩個盤面,一般每個盤面都會得到利用,都可以存儲數據,成為有效盤面,也有極個別的硬碟盤面數為單數。
每一個這樣的有效盤面都有一個盤面號,按順序從上至下從 0 開始編號。
在硬碟系統中,盤面號又叫磁頭號,因為每一個有效盤面都有一個對應的讀寫磁頭,硬碟的碟片組在 2-14 片不等,通常有 2-3 個碟片。
磁軌
磁碟在格式化時被劃分成許多同心圓,這些同心圓軌跡叫做磁軌。
磁軌從外向內從 0 開始順序編號,硬碟的每一個盤面有 300-1024 個磁軌,新式大容量硬碟每面的磁軌數更多,資訊以脈衝串的形式記錄在這些軌跡中,這些同心圓不是連續記錄數據,而是被劃分成一段段的圓弧。
這些圓弧的角速度一樣,由於徑向長度不一樣,所以線速度也不一樣,外圈的線速度較內圈的線速度大,即同樣的轉速度下,外圈在同樣時間段里,划過的圓弧長度要比內圈划過的圓弧長度大。
每段圓弧叫做一個扇區,扇區從 1 開始編號,每個扇區中的數據作為一個單元同時讀出或寫入。
磁軌是看不見的,只是盤面上以特殊形式磁化了的一些磁化區,在磁碟格式化時就已規劃完畢。
柱面
所有盤面上的同一磁軌構成一個圓柱,通常稱作柱面。
每個圓柱上的磁頭由上而下從 0 開始編號,數據的讀 / 寫按柱面進行,即磁頭讀 / 寫數據時首先在同一柱面內從 0 磁頭開始進行操作,依次向下在同一柱面的不同盤面即磁頭上進行操作。
只有在同一柱面所有的磁頭全部讀 / 寫完畢後磁頭才轉移到下一柱面(同心圓再往裡的柱面),因為選取磁頭只需要通過電子切換即可,而選取柱面則必須機械切換,電子切換相當快,比在機械上的磁頭向鄰近磁軌移動快得多。
所以,數據的讀 / 寫按柱面進行,而不按盤面進行,也就是說,一個磁軌寫滿數據後,就在同一柱面的下一個盤面來寫,一個柱面寫滿後,才移到下一個扇區開始寫數據,讀數據也按照這種方式進行,這樣就提高了硬碟的讀 / 寫效率。
扇區
作業系統以扇區形式將資訊存儲在硬碟上,每個扇區包括 512 個位元組的數據和一些其他資訊,一個扇區有兩個主要部分:存儲數據地點的標識符和存儲數據的數據段。
標識符就是扇區頭標,包括組成扇區三維地址的三個數字:盤面號,柱面號,扇區號(塊號)。
數據段可分為數據和保護數據的糾錯碼(ECC)。在初始準備期間,電腦用 512 個虛擬資訊位元組(實際數據的存放地)和與這些虛擬資訊位元組相應的 ECC 數字填入這個部分。
3. 訪盤請求完成過程
1)確定磁碟地址(柱面號,磁頭號,扇區號),記憶體地址(源 / 目):
當需要從磁碟讀取數據的時候,系統會將數據的邏輯地址傳遞個磁碟,磁碟的控制電路按照定址邏輯將邏輯地址翻譯成物理地址,即確定要讀的數據在哪個磁軌,哪個扇區。
2)為了讀取這個扇區的數據,需要將磁頭放到這個扇區上方,為了實現這一點:
- A. 首先必須找到柱面,即磁頭需要移動對準相應磁軌,這個過程叫做尋道,所耗費時間叫做尋道時間。
- B. 然後目標扇區旋轉到磁頭下,即磁碟旋轉將目標扇區旋轉到磁頭下,這個過程耗費的時間叫做旋轉時間。
3)即一次訪盤請求(讀 / 寫)完成過程由三個動作組成:
- A. 尋道(時間):磁頭移動定位到指定磁軌。
- B. 旋轉延遲(時間):等待指定扇區從磁頭下旋轉經過。
- C. 數據傳輸(時間):數據在磁碟與記憶體之間的實際傳輸。
4. 磁碟的讀寫原理
系統將文件存儲到磁碟上時,按柱面、磁頭、扇區的方式進行,即最先是第 1 磁軌的第一磁頭下的所有扇區,然後是同一柱面的下一個磁頭……
一個柱面存儲滿後就推進到下一個柱面,直到把文件內容全部寫入磁碟。
系統也以相同的順序讀出數據,讀出數據時通過告訴磁碟控制器要讀出扇區所在柱面號、磁頭號和扇區號(物理地址的三個組成部分)進行。
5. 減少 I/O 的預讀原理
由於存儲介質的特性,磁碟本身存取就比主存慢很多,再加上機械運動耗費的時間,磁碟的存取速度往往是主存的幾百分之一。
因此,為了提高效率,要盡量減少磁碟的 I/O。
磁碟往往不是嚴格地按需讀取,而是每次都會預讀,即使只需要一個位元組,磁碟也會從這個位置開始,順序向後讀取一定長度的數據放入記憶體。
這樣做的理論依據是電腦科學中著名的局部性原理:
- 當一個數據被用到時,其附近的數據一般來說也會被馬上使用。
- 程式運行期間所需要的數據通常比較集中。
- 由於磁碟順序讀取的效率很高(不需要尋道時間,只需要很少的旋轉時間),因此對於具有局部性的程式來說,預讀可以提高 I/O 效率。
預讀的長度一般為頁(Page)的整數倍。頁是電腦管理存儲器的邏輯塊,硬體及作業系統往往將主存和磁碟存儲分割為連續的大小相等的塊。
每個存儲塊稱為一頁(在許多作業系統中,頁的大小通常為 4k),主存和磁碟以頁為單位交換數據,當程式要讀取的數據不在主存中時,會觸發一個缺頁異常。
此時系統會向磁碟發出讀盤資訊,磁碟會找到數據的起始位置並向後連續讀取一頁或幾頁的數據載入記憶體中,然後異常返回,程式繼續運行。
6. MySQL 的索引
索引是一種用來實現 MySQL 高效獲取數據的數據結構。
我們通常所說的在某個欄位上建索引,意思就是讓 MySQL 對該欄位以索引這種數據結構來存儲,然後查找的時候就有對應的查找演算法。
建索引的根本目的是為了查找的優化,特別是當數據很龐大的時候,一般的查找演算法有順序查找、折半查找、快速查找等。
但是每種查找演算法都只能應用於特定的數據結構之上,例如順序查找依賴於順序結構,折半查找通過二叉查找樹或紅黑樹實現二分搜索。因此在數據之外,資料庫系統還維護著滿足特定查找演算法的數據結構。
這些數據結構以某種方式引用數據,這樣就可以在這些數據結構上實現高級查找演算法,這種數據結構就是索引。
7. MySQL 的 B+Tree
目前大多數資料庫系統及文件系統都採用 B-Tree 或其變種 B+Tree 作為索引結構。
B+ 樹索引是 B+ 樹在資料庫中的一種實現,是最常見也是資料庫中使用最為頻繁的一種索引。B+ 樹中的 B 代表平衡,而不是二叉。
因為 B+ 樹是從最早的平衡二叉樹演化而來的。B+ 樹是由二叉查找樹、平衡二叉樹(AVLTree)和平衡多路查找樹(B-Tree)逐步優化而來。
二叉查找樹:左子樹的鍵值小於根的鍵值,右子樹的鍵值大於根的鍵值。
AVL 樹:平衡二叉樹(AVL 樹)在符合二叉查找樹的條件下,還滿足任何節點的兩個子樹的高度最大差為 1。
平衡多路查找樹(B-Tree):為磁碟等外存儲設備設計的一種平衡查找樹。
系統從磁碟讀取數據到記憶體時是以磁碟塊(block)為基本單位的,位於同一磁碟塊中的數據會被一次性讀取出來,而不是按需讀取。
InnoDB 存儲引擎使用頁作為數據讀取單位,頁是其磁碟管理的最小單位,默認 page 大小是 16k。
系統的一個磁碟塊的存儲空間往往沒有這麼大,因此 InnoDB 每次申請磁碟空間時都會是若干地址連續磁碟塊來達到頁的大小 16KB。
InnDB 在把磁碟數據讀入到磁碟時會以頁為基本單位,在查詢數據時如果一個頁中的每條數據都能助於定位數據記錄的位置,這將會減少磁碟 I/O 的次數,提高查詢效率。
B-Tree 結構的數據可以讓系統高效的找到數據所在的磁碟塊。
為了描述 B-Tree,首先定義一條數據記錄為一個二元組 [key, data],key 為記錄的鍵值,對於不同數據記錄,key 是互不相同的;data 為數據記錄除 key 外的數據。
那麼 B-Tree 是滿足下列條件的數據結構:
- d 為大於 1 的一個正整數,稱為 B-Tree 的度。
- h 為一個正整數,稱為 B-Tree 的高度。
- 每個非葉子節點由 n-1 個 key 和 n 個指針組成,其中 d<=n<=2d。
- 每個葉子節點最少包含一個 key 和兩個指針,最多包含 2d-1 個 key 和 2d 個指針,葉節點的指針均為 null 。
- 所有葉節點具有相同的深度,等於樹高 h。
- key 和指針互相間隔,節點兩端是指針。
- 一個節點中的 key 從左到右非遞減排列。
- 所有節點組成樹結構。
- 每個指針要麼為 null,要麼指向另外一個節點。
- 如果某個指針在節點 node 最左邊且不為 null,則其指向節點的所有 key 小於 v(key1),其中 v(key1) 為 node 的第一個 key 的值。
- 如果某個指針在節點 node 最右邊且不為 null,則其指向節點的所有 key 大於 v(keym),其中 v(keym) 為 node 的最後一個 key 的值。
- 如果某個指針在節點 node 的左右相鄰 key 分別是 keyi 和 keyi+1 且不為 null,則其指向節點的所有 key 小於 v(keyi+1) 且大於 v(keyi)。
B-Tree 中的每個節點根據實際情況可以包含大量的關鍵字資訊和分支,例:
每個節點佔用一個盤塊的磁碟空間,一個節點上有兩個升序排序的關鍵字和三個指向子樹根節點的指針,指針存儲的是子節點所在磁碟塊的地址。
兩個關鍵詞劃分成的三個範圍域對應三個指針指向的子樹的數據的範圍域。
以根節點為例,關鍵字為 17 和 35,P1 指針指向的子樹的數據範圍為小於 17,P2 指針指向的子樹的數據範圍為 17~35,P3 指針指向的子樹的數據範圍為大於 35。
模擬查找關鍵字 29 的過程:
- 根據根節點找到磁碟塊 1,讀入記憶體。【磁碟 I/O 操作第 1 次】
- 比較關鍵字 29 在區間(17,35),找到磁碟塊 1 的指針 P2。
- 根據 P2 指針找到磁碟塊 3,讀入記憶體。【磁碟 I/O 操作第 2 次】
- 比較關鍵字 29 在區間(26,30),找到磁碟塊 3 的指針 P2。
- 根據 P2 指針找到磁碟塊 8,讀入記憶體。【磁碟 I/O 操作第 3 次】
- 在磁碟塊 8 中的關鍵字列表中找到關鍵字 29。
MySQL 的 InnoDB 存儲引擎在設計時是將根節點常駐記憶體的,因此力求達到樹的深度不超過 3,也就是說 I/O 不需要超過 3 次。
分析上面過程,發現需要 3 次磁碟 I/O 操作,和 3 次記憶體查找操作。由於記憶體中的關鍵字是一個有序表結構,可以利用二分法查找提高效率。
而 3 次磁碟 I/O 操作是影響整個 B-Tree 查找效率的決定因素。
B-Tree 相對於 AVLTree 縮減了節點個數,使每次磁碟 I/O 取到記憶體的數據都發揮了作用,從而提高了查詢效率。
B+Tree 是在 B-Tree 基礎上的一種優化,使其更適合實現外存儲索引結構,InnoDB 存儲引擎就是用 B+Tree 實現其索引結構。
在 B-Tree 中,每個節點中有 key,也有 data,而每一個頁的存儲空間是有限的,如果 data 數據較大時將會導致每個節點(即一個頁)能存儲的 key 的數量很小。
當存儲的數據量很大時同樣會導致 B-Tree 的深度較大,增大查詢時的磁碟 I/O 次數,進而影響查詢效率。
在 B+Tree 中,所有數據記錄節點都是按照鍵值大小順序存放在同一層的葉子節點上,而非葉子節點上只存儲 key 值資訊,這樣可以大大加大每個節點存儲的 key 值數量,降低 B+Tree 的高度。
B+Tree 在 B-Tree 的基礎上有兩點變化:
- 數據是存在葉子節點中的;
- 數據節點之間是有指針指向的
由於 B+Tree 的非葉子節點只存儲鍵值資訊,假設每個磁碟塊能存儲 4 個鍵值及指針資訊,則變成 B+Tree 後其結構如下圖所示:
通常在 B+Tree 上有兩個頭指針,一個指向根節點,另一個指向關鍵字最小的葉子節點,而且所有葉子節點(即數據節點)之間是一種鏈式環結構。
因此可以對 B+Tree 進行兩種查找運算:一種是對於主鍵的範圍查找和分頁查找,另一種是從根節點開始,進行隨機查找。
8. Myisam 中的 B+Tree
Myisam 引擎也是採用的 B+Tree 結構來作為索引結構。
由於 Myisam 中的索引和數據分別存放在不同的文件,所以在索引樹中的葉子節點中存的數據是該索引對應的數據記錄的地址,由於數據與索引不在一起,所以 Myisam 是非聚簇索引。
9. InnoDB 中的 B+Tree
InnoDB 是以 ID 為索引的數據存儲。
採用 InnoDB 引擎的數據存儲文件有兩個,一個定義文件,一個是數據文件。
InnoDB 通過 B+Tree 結構對 ID 建索引,然後在葉子節點中存儲記錄。
若建索引的欄位不是主鍵 ID,則對該欄位建索引,然後在葉子節點中存儲的是該記錄的主鍵,然後通過主鍵索引找到對應的記錄。