SQL 性能起飛了!

直接上乾貨

  1. 對查詢進行優化,應盡量避免全表掃描,首先應考慮在 where order by涉及的列上建立索引。

  2. 應盡量避免在 where 子句中對欄位進行 null 值判斷,創建表時NULL是默認值,但大多數時候應該使用NOT NULL,或者使用一個特殊的值,如0,-1作為默 認值。

  3. 應盡量避免在 where 子句中使用!=或<>操作符, MySQL只有對以下操作符才使用索引:<,<=,=,>,>=,BETWEEN,IN,以及某些時候的LIKE。

  4. 應盡量避免在 where 子句中使用 or 來連接條件, 否則將導致引擎放棄使用索引而進行全表掃描, 可以 使用UNION合併查詢:

select id from t where num=10 union all select id from t where num=20
  1. in not in 也要慎用,否則會導致全表掃描,對於連續的數值,能用 between 就不要用 in 了:
Select id from t where num between 1 and 3
  1. 下面的查詢也將導致全表掃描:
select id from t where name like 『%abc%』

或者

select id from t where name like '%abc'
若要提高效率,可以考慮全文檢索。而 select id from t where name like 『abc%』  才用到索引
  1. 如果在 where 子句中使用參數,也會導致全表掃描。

  2. 應盡量避免在 where 子句中對欄位進行表達式操作,應盡量避免在where子句中對欄位進行函數操作

  3. 很多時候用 exists 代替 in 是一個好的選擇:select num from a where num in(select num from b).用下面的語句替換:select num from a where exists(select 1 from b where num=a.num)

  4. 索引固然可以提高相應的 select 的效率,但同時也降低了 insert update 的效率,因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數最好不要超過6個,若太多則應考慮一些不常使用到的列上建的索引是否有必要。

  5. 應儘可能的避免更新 clustered 索引數據列, 因為 clustered 索引數據列的順序就是表記錄的物理存儲順序,一旦該列值改變將導致整個表記錄的順序的調整,會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列,那麼需要考慮是否應將該索引建為 clustered 索引。

  6. 盡量使用數字型欄位,若只含數值資訊的欄位盡量不要設計為字元型,這會降低查詢和連接的性能,並會增加存儲開銷。

  7. 儘可能的使用 varchar/nvarchar 代替 char/nchar , 因為首先變長欄位存儲空間小,可以節省存儲空間,其次對於查詢來說,在一個相對較小的欄位內搜索效率顯然要高些。

  8. 最好不要使用’「返回所有:select from t ,用具體的欄位列表代替「*’,不要返回用不到的任何欄位。

  9. 盡量避免向客戶端返回大數據量,若數據量過大,應該考慮相應需求是否合理。

  10. 使用表的別名(Alias):當在SQL語句中連接多個表時,請使用表的別名並把別名前綴於每個Column上.這樣一來,就可以減少解析的時間並減少那些由Column歧義引起的語法錯誤。

  11. 使用「臨時表’暫存中間結果

簡化SQL語句的重要方法就是採用臨時表暫存中間結果,但是,臨時表的好處遠遠不止這些,將臨時結果暫存在臨時表,後面的查詢就在tempdb中了,這可以避免程式中多次掃描主表,也大大減少了程式執行中「共享鎖’阻塞「更新鎖’,減少了阻塞,提高了並發性能。

  1. 一些SQL查詢語句應加上nolock,讀、寫是會相互阻塞的,為了提高並發性能,對於一些查詢,可以加上nolock,這樣讀的時候可以允許寫,但缺點是可能讀到未提交的臟數據。使用 nolock有3條原則。

查詢的結果用於「插、刪、改’的不能加nolock !查詢的表屬於頻繁發生頁分裂的,慎用nolock !使用臨時表一樣可以保存「數據前影’,起到類似Oracle的undo表空間的功能,能採用臨時表提高並發性能的,不要用nolock

  1. 常見的簡化規則如下:不要有超過5個以上的表連接(JOIN),考慮使用臨時表或表變數存放中間結果。少用子查詢,視圖嵌套不要過深,一般視圖嵌套不要超過2個為宜。
  2. 將需要查詢的結果預先計算好放在表中,查詢的時候再Select。這在SQL7.0以前是最重要的手段。例如醫院的住院費計算。
  3. 用OR的字句可以分解成多個查詢,並且通過UNION 連接多個查詢。他們的速度只同是否使用索引有關,如果查詢需要用到聯合索引,用UNION all執行的效率更高.多個OR的字句沒有用到索引,改寫成UNION的形式再試圖與索引匹配。一個關鍵的問題是否用到索引。
  4. 在IN後面值的列表中,將出現最頻繁的值放在最前面,出現得最少的放在最後面,減少判斷的次數。
  5. 盡量將數據的處理工作放在伺服器上,減少網路的開銷,如使用存儲過程。存儲過程是編譯好、優化過、並且被組織到一個執行規劃里、且存儲在資料庫中的SQL語句,是控制流語言的集合,速度當然快。反覆執行的動態SQL,可以使用臨時存儲過程,該過程(臨時表)被放在Tempdb中。
  6. 當伺服器的記憶體夠多時,配製執行緒數量 = 最大連接數+5,這樣能發揮最大的效率;否則使用 配製執行緒數量<最大連接數啟用SQL SERVER的執行緒池來解決,如果還是數量 = 最大連接數+5,嚴重的損害伺服器的性能。
  7. 查詢的關聯同寫的順序
select a.personMemberID, * from chineseresume a,personmember b where personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' (A = B ,B = '號碼')

select a.personMemberID, * from chineseresume a,personmember b where a.personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' and b.referenceid = 'JCNPRH39681' (A = B ,B = '號碼', A = '號碼')

select a.personMemberID, * from chineseresume a,personmember b where b.referenceid = 'JCNPRH39681' and a.personMemberID = 'JCNPRH39681' (B = '號碼', A = '號碼')
  1. 盡量使用exists代替select count(1)來判斷是否存在記錄,count函數只有在統計表中所有行數時使用,而且count(1)比count(*)更有效率。

  2. 盡量使用>=,不要使用1. * >

  3. 索引的使用規範:索引的創建要與應用結合考慮,建議大的OLTP表不要超過6個索引;儘可能的使用索引欄位作為查詢條件,尤其是聚簇索引,必要時可以通過index index_name來強制指定索引;避免對大表查詢時進行table scan,必要時考慮新建索引;

在使用索引欄位作為條件時,如果該索引是聯合索引,那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引,否則該索引將不會被使用;要注意索引的維護,周期性重建索引,重新編譯存儲過程。  

  1. 下列SQL條件語句中的列都建有恰當的索引,但執行速度卻非常慢:
SELECT * FROM record WHERE substrINg(card_no,1,4)=』5378』 (13秒)

SELECT * FROM record WHERE amount/30< 1000 (11秒)

SELECT * FROM record WHERE convert(char(10),date,112)=』19991201』 (10秒)

分析:

WHERE子句中對列的任何操作結果都是在SQL運行時逐列計算得到的,因此它不得不進行表搜索,而沒有使用該列上面的索引;如果這些結果在查詢編譯時就能得到,那麼就可以被SQL優化器優化,使用索引,避免表搜索,因此將SQL重寫成下面這樣:

SELECT * FROM record WHERE card_no like 『5378%』 (< 1秒)

SELECT * FROM record WHERE amount< 1000*30 (< 1秒)

SELECT * FROM record WHERE date= 『1999/12/01』 (< 1秒)
  1. 當有一批處理的插入或更新時,用批量插入或批量更新,絕不會一條條記錄的去更新!

  2. 在所有的存儲過程中,能夠用SQL語句的,我絕不會用循環去實現!

(例如:列出上個月的每一天,我會用connect by去遞歸查詢一下,絕不會去用循環從上個月第一天到最後一天)

  1. 選擇最有效率的表名順序(只在基於規則的優化器中有效):

oracle 的解析器按照從右到左的順序處理FROM子句中的表名,FROM子句中寫在最後的表(基礎表 driving table)將被最先處理,在FROM子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表。

如果有3個以上的表連接查詢, 那就需要選擇交叉表(intersection table)作為基礎表, 交叉表是指那個被其他表所引用的表.

  1. 提高GROUP BY語句的效率, 可以通過將不需要的記錄在GROUP BY 之前過濾掉.下面兩個查詢返回相同結果,但第二個明顯就快了許多.
低效: 

SELECT JOB , AVG(SAL)

FROM EMP

GROUP BY JOB

HAVING JOB =』PRESIDENT』

OR JOB =』MANAGER』
高效: 

SELECT JOB , AVG(SAL)

FROM EMP

WHERE JOB =』PRESIDENT』

OR JOB =』MANAGER』

GROUP BY JOB
  1. sql語句用大寫,因為oracle 總是先解析sql語句,把小寫的字母轉換成大寫的再執行。

  2. 別名的使用,別名是大型資料庫的應用技巧,就是表名、列名在查詢中以一個字母為別名,查詢速度要比建連接錶快1.5倍。

  3. 避免死鎖,在你的存儲過程和觸發器中訪問同一個表時總是以相同的順序;事務應經可能地縮短,在一個事務中應儘可能減少涉及到的數據量;永遠不要在事務中等待用戶輸入。

  4. 避免使用臨時表,除非卻有需要,否則應盡量避免使用臨時表,相反,可以使用表變數代替;大多數時候(99%),表變數駐紮在記憶體中,因此速度比臨時表更快,臨時表駐紮在TempDb資料庫中,因此臨時表上的操作需要跨資料庫通訊,速度自然慢。

  5. 最好不要使用觸發器,觸發一個觸發器,執行一個觸發器事件本身就是一個耗費資源的過程;如果能夠使用約束實現的,盡量不要使用觸發器;不要為不同的觸發事件(Insert,Update和Delete)使用相同的觸發器;不要在觸發器中使用事務型程式碼。

  6. 索引創建規則:

  • 表的主鍵、外鍵必須有索引;
  • 數據量超過300的表應該有索引;
  • 經常與其他表進行連接的表,在連接欄位上應該建立索引;
  • 經常出現在Where子句中的欄位,特別是大表的欄位,應該建立索引;
  • 索引應該建在選擇性高的欄位上;
  • 索引應該建在小欄位上,對於大的文本欄位甚至超長欄位,不要建索引;
  • 複合索引的建立需要進行仔細分析,盡量考慮用單欄位索引代替;
  • 正確選擇複合索引中的主列欄位,一般是選擇性較好的欄位;
  • 複合索引的幾個欄位是否經常同時以AND方式出現在Where子句中?單欄位查詢是否極少甚至沒有?如果是,則可以建立複合索引;否則考慮單欄位索引;
  • 如果複合索引中包含的欄位經常單獨出現在Where子句中,則分解為多個單欄位索引;
  • 如果複合索引所包含的欄位超過3個,那麼仔細考慮其必要性,考慮減少複合的欄位;
  • 如果既有單欄位索引,又有這幾個欄位上的複合索引,一般可以刪除複合索引;
  • 頻繁進行數據操作的表,不要建立太多的索引;
  • 刪除無用的索引,避免對執行計劃造成負面影響;
    表上建立的每個索引都會增加存儲開銷,索引對於插入、刪除、更新操作也會增加處理上的開銷。另外,過多的複合索引,在有單欄位索引的情況下,一般都是沒有存在價值的;相反,還會降低數據增加刪除時的性能,特別是對頻繁更新的表來說,負面影響更大。

盡量不要對資料庫中某個含有大量重複的值的欄位建立索引。

40,mysql查詢優化總結:使用慢查詢日誌去發現慢查詢,使用執行計划去判斷查詢是否正常運行,總是去測試你的查詢看看是否他們運行在最佳狀態下。

久而久之性能總會變化,避免在整個表上使用count(*),它可能鎖住整張表,使查詢保持一致以便後續相似的查詢可以使用查詢快取 ,在適當的情形下使用GROUP BY而不是DISTINCT,在WHERE, GROUP BYORDER BY子句中使用有索引的列,保持索引簡單,不在多個索引中包含同一個列,有時候MySQL會使用錯誤的索引,對於這種情況使用USE INDEX,檢查使用SQL_MODE=STRICT的問題,對於記錄數小於5的索引欄位,在的時候使用LIMIT不是是用OR

為了避免在更新前SELECT,使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去實現,不要使用 MAX,使用索引欄位和ORDER BY子句,LIMIT M,N實際上可以減緩查詢在某些情況下,有節制地使用,在WHERE子句中使用UNION代替子查詢.

在重新啟動的MySQL,記得來溫暖你的資料庫,以確保您的數據在記憶體和查詢速度快,考慮持久連接,而不是多個連接,以減少開銷,基準查詢,包括使用伺服器上的負載,有時一個簡單的查詢可以影響其他查詢,當負載增加您的伺服器上,使用SHOW PROCESSLIST查看慢的和有問題的查詢,在開發環境中產生的鏡像數據中 測試的所有可疑的查詢。

  1. MySQL 備份過程:

從二級複製伺服器上進行備份。在進行備份期間停止複製,以避免在數據依賴和外鍵約束上出現不一致。徹底停止MySQL,從資料庫文件進行備份。

如果使用 MySQL dump進行備份,請同時備份二進位日誌文件 – 確保複製沒有中斷。不要信任LVM 快照,這很可能產生數據不一致,將來會給你帶來麻煩。為了更容易進行單表恢復,以表為單位導出數據 – 如果數據是與其他表隔離的。

當使用mysqldump時請使用 –opt。在備份之前檢查和優化表。為了更快的進行導入,在導入時臨時禁用外鍵約束。

為了更快的進行導入,在導入時臨時禁用唯一性檢測。在每一次備份後計算資料庫,表以及索引的尺寸,以便更夠監控數據尺寸的增長。

通過自動調度腳本監控複製實例的錯誤和延遲。定期執行備份。

  1. 查詢緩衝並不自動處理空格,因此,在寫SQL語句時,應盡量減少空格的使用,尤其是在SQL首和尾的空格(因為,查詢緩衝並不自動截取首尾空格)。

  2. membermid做標準進行分表方便查詢么?一般的業務需求中基本上都是以username為查詢依據,正常應當是usernamehash取模來分表吧。分表的話 mysql partition功能就是干這個的,對程式碼是透明的;

在程式碼層面去實現貌似是不合理的。

  1. 我們應該為資料庫里的每張表都設置一個ID做為其主鍵,而且最好的是一個INT型的(推薦使用UNSIGNED),並設置上自動增加的AUTO_INCREMENT標誌。

  2. 在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF

無需在執行存儲過程和觸發器的每個語句後向客戶端發送 DONE_IN_PROC 消息。

  1. MySQL查詢可以啟用高速查詢快取。這是提高資料庫性能的有效Mysql優化方法之一。當同一個查詢被執行多次時,從快取中提取數據和直接從資料庫中返回數據快很多。

  2. EXPLAIN SELECT 查詢用來跟蹤查看效果

使用 EXPLAIN 關鍵字可以讓你知道MySQL是如何處理你的SQL語句的。這可以幫你分析你的查詢語句或是表結構的性能瓶頸。EXPLAIN 的查詢結果還會告訴你你的索引主鍵被如何利用的,你的數據表是如何被搜索和排序的……等等,等等。

  1. 當只要一行數據時使用 LIMIT 1

當你查詢表的有些時候,你已經知道結果只會有一條結果,但因為你可能需要去fetch游標,或是你也許會去檢查返回的記錄數。在這種情況下,加上 LIMIT 1 可以增加性能。這樣一樣,MySQL資料庫引擎會在找到一條數據後停止搜索,而不是繼續往後查少下一條符合記錄的數據。

  1. 選擇表合適存儲引擎:

myisam: 應用時以讀和插入操作為主,只有少量的更新和刪除,並且對事務的完整性,並發性要求不是很高的。

Innodb:事務處理,以及並發條件下要求數據的一致性。除了插入和查詢外,包括很多的更新和刪除。(Innodb有效地降低刪除和更新導致的鎖定)。對於支援事務的InnoDB類型的表來說,影響速度的主要原因是AUTOCOMMIT默認設置是打開的,而且程式沒有顯式調用BEGIN 開始事務,導致每插入一條都自動提交,嚴重影響了速度。可以在執行sql前調用begin,多條sql形成一個事物(即使autocommit打開也可以),將大大提高性能。

  1. 優化表的數據類型,選擇合適的數據類型:

原則:更小通常更好,簡單就好,所有欄位都得有默認值,盡量避免null

例如:資料庫表設計時候更小的占磁碟空間儘可能使用更小的整數類型.(mediumint就比int更合適)

比如時間欄位:datetimetimestamp, datetime佔用8個位元組,而timestamp佔用4個位元組,只用了一半,而timestamp表示的範圍是1970—2037適合做更新時間

MySQL可以很好的支援大數據量的存取,但是一般說來,資料庫中的表越小,在它上面執行的查詢也就會越快。

因此,在創建表的時候,為了獲得更好的性能,我們可以將表中欄位的寬度設得儘可能小。例如,

在定義郵政編碼這個欄位時,如果將其設置為CHAR(255),顯然給資料庫增加了不必要的空間,

甚至使用VARCHAR這種類型也是多餘的,因為CHAR(6)就可以很好的完成任務了。同樣的,如果可以的話,

我們應該使用MEDIUMINT而不是BIGIN來定義整型欄位。

應該盡量把欄位設置為NOT NULL,這樣在將來執行查詢的時候,資料庫不用去比較NULL值。

對於某些文本欄位,例如「省份’或者「性別’,我們可以將它們定義為ENUM類型。因為在MySQL中,ENUM類型被當作數值型數據來處理,

而數值型數據被處理起來的速度要比文本類型快得多。這樣,我們又可以提高資料庫的性能。

  1. 字元串數據類型:char,varchar,text選擇區別

  2. 任何對列的操作都將導致表掃描,它包括資料庫函數、計算表達式等等,查詢時要儘可能將操作移至等號右邊。