牛逼哄哄的資料庫連接池，底層原理是個啥？

• 2019 年 11 月 29 日
• 筆記

這次我們採取技術演進的方式來談談資料庫連接池的技術出現過程及其原理，以及當下最流行的開源資料庫連接池jar包。

一、早期我們怎麼進行資料庫操作

1、原理

一般來說，Java應用程式訪問資料庫的過程是：

①裝載資料庫驅動程式；

②通過jdbc建立資料庫連接；

③訪問資料庫，執行sql語句；

④斷開資料庫連接。

2、程式碼

Public void FindAllUsers(){    //1、裝載sqlserver驅動對象    DriverManager.registerDriver(new SQLServerDriver());    //2、通過JDBC建立資料庫連接    Connection con =DriverManager.getConnection("jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123");    //3、創建狀態    Statement state =con.createStatement();    //4、查詢資料庫並返回結果    ResultSet result =state.executeQuery("select * from users");    //5、輸出查詢結果    while(result.next()){       System.out.println(result.getString("email"));    }    //6、斷開資料庫連接    result.close();    state.close();    con.close();  }

3、分析

程式開發過程中，存在很多問題：首先，每一次web請求都要建立一次資料庫連接。

建立連接是一個費時的活動，每次都得花費0.05s～1s的時間，而且系統還要分配記憶體資源。這個時間對於一次或幾次資料庫操作，或許感覺不出系統有多大的開銷。

可是對於現在的web應用，尤其是大型電子商務網站，同時有幾百人甚至幾千人在線是很正常的事。在這種情況下，頻繁的進行資料庫連接操作勢必佔用很多的系統資源，網站的響應速度必定下降，嚴重的甚至會造成伺服器的崩潰。

不是危言聳聽，這就是制約某些電子商務網站發展的技術瓶頸問題。其次，對於每一次資料庫連接，使用完後都得斷開。否則，如果程式出現異常而未能關閉，將會導致資料庫系統中的記憶體泄漏，最終將不得不重啟資料庫。

還有，這種開發不能控制被創建的連接對象數，系統資源會被毫無顧及的分配出去，如連接過多，也可能導致記憶體泄漏，伺服器崩潰。

上述的用戶查詢案例，如果同時有1000人訪問，就會不斷的有資料庫連接、斷開操作：

通過上面的分析，我們可以看出來，「資料庫連接」是一種稀缺的資源，為了保障網站的正常使用，應該對其進行妥善管理。

其實我們查詢完資料庫後，如果不關閉連接，而是暫時存放起來，當別人使用時，把這個連接給他們使用。就避免了一次建立資料庫連接和斷開的操作時間消耗。

原理如下：

二、技術演進出來的資料庫連接池

由上面的分析可以看出，問題的根源就在於對資料庫連接資源的低效管理。我們知道，對於共享資源，有一個很著名的設計模式：資源池（resource pool）。

該模式正是為了解決資源的頻繁分配﹑釋放所造成的問題。為解決上述問題，可以採用資料庫連接池技術。

資料庫連接池的基本思想就是為資料庫連接建立一個「緩衝池」。預先在緩衝池中放入一定數量的連接，當需要建立資料庫連接時，只需從「緩衝池」中取出一個，使用完畢之後再放回去。

我們可以通過設定連接池最大連接數來防止系統無盡的與資料庫連接。更為重要的是我們可以通過連接池的管理機制監視資料庫的連接的數量﹑使用情況，為系統開發﹑測試及性能調整提供依據。

我們自己嘗試開發一個連接池，來為上面的查詢業務提供資料庫連接服務：

① 編寫class 實現DataSource 介面

② 在class構造器一次性創建10個連接，將連接保存LinkedList中

③ 實現getConnection 從 LinkedList中返回一個連接

④ 提供將連接放回連接池中方法

1、連接池程式碼

public class MyDataSource implements DataSource {    //鏈表 --- 實現棧結構    privateLinkedList<Connection> dataSources = new LinkedList<Connection>();      //初始化連接數量    publicMyDataSource() {       //一次性創建10個連接       for(int i = 0; i < 10; i++) {          try {             //1、裝載sqlserver驅動對象             DriverManager.registerDriver(new SQLServerDriver());             //2、通過JDBC建立資料庫連接             Connection con =DriverManager.getConnection(              "jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123");             //3、將連接加入連接池中             dataSources.add(con);          } catch (Exception e) {             e.printStackTrace();          }       }    }      @Override    publicConnection getConnection() throws SQLException {       //取出連接池中一個連接       finalConnection conn = dataSources.removeFirst(); // 刪除第一個連接返回       returnconn;    }      //將連接放回連接池    publicvoid releaseConnection(Connection conn) {       dataSources.add(conn);    }  }

2、使用連接池重構我們的用戶查詢函數

//查詢所有用戶  public void FindAllUsers(){    //1、使用連接池建立資料庫連接    MyDataSource dataSource = new MyDataSource();    Connection conn =dataSource.getConnection();    //2、創建狀態    Statement state =con.createStatement();    //3、查詢資料庫並返回結果    ResultSet result =state.executeQuery("select * from users");    //4、輸出查詢結果    while(result.next()){       System.out.println(result.getString("email"));    }    //5、斷開資料庫連接    result.close();    state.close();    //6、歸還資料庫連接給連接池    dataSource.releaseConnection(conn);  }

這就是資料庫連接池的原理，它大大提供了資料庫連接的利用率，減小了記憶體吞吐的開銷。

我們在開發過程中，就不需要再關心資料庫連接的問題，自然有資料庫連接池幫助我們處理，這回放心了吧。但連接池需要考慮的問題不僅僅如此，下面我們就看看還有哪些問題需要考慮。

三、連接池還要考慮更多的問題

1、並發問題

為了使連接管理服務具有最大的通用性，必須考慮多執行緒環境，即並發問題。這個問題相對比較好解決，因為java語言自身提供了對並發管理的支援，使用synchronized關鍵字即可確保執行緒是同步的。Synchronized 有幾種用法？這也是面試常考的。

使用方法為直接在類方法前面加上synchronized關鍵字，如：

public synchronized connection getconnection（）

2、多資料庫伺服器和多用戶

對於大型的企業級應用，常常需要同時連接不同的資料庫（如連接oracle和sybase）。如何連接不同的資料庫呢？

我們採用的策略是：設計一個符合單例模式的連接池管理類，在連接池管理類的唯一實例被創建時讀取一個資源文件，其中資源文件中存放著多個資料庫的url地址等資訊。

根據資源文件提供的資訊，創建多個連接池類的實例，每一個實例都是一個特定資料庫的連接池。連接池管理類實例為每個連接池實例取一個名字，通過不同的名字來管理不同的連接池。

對於同一個資料庫有多個用戶使用不同的名稱和密碼訪問的情況，也可以通過資源文件處理，即在資源文件中設置多個具有相同url地址，但具有不同用戶名和密碼的資料庫連接資訊。

3、事務處理

我們知道，事務具有原子性，此時要求對資料庫的操作符合「all-all-nothing」原則即對於一組sql語句要麼全做，要麼全不做。分散式事務不理解？一次給你講清楚。

在java語言中，connection類本身提供了對事務的支援，可以通過設置connection的autocommit屬性為false 然後顯式的調用commit或rollback方法來實現。

但要高效的進行connection復用，就必須提供相應的事務支援機制。可採用每一個事務獨佔一個連接來實現，這種方法可以大大降低事務管理的複雜性。

關注微信公眾號：Java技術棧，在後台回復：java，可以獲取我整理的 N 篇最新Java 技術教程，都是乾貨。

4、連接池的分配與釋放

連接池的分配與釋放，對系統的性能有很大的影響。合理的分配與釋放，可以提高連接的復用度，從而降低建立新連接的開銷，同時還可以加快用戶的訪問速度。

對於連接的管理可使用空閑池。即把已經創建但尚未分配出去的連接按創建時間存放到一個空閑池中。

每當用戶請求一個連接時，系統首先檢查空閑池內有沒有空閑連接。

如果有就把建立時間最長（通過容器的順序存放實現）的那個連接分配給他（實際是先做連接是否有效的判斷，如果可用就分配給用戶，如不可用就把這個連接從空閑池刪掉，重新檢測空閑池是否還有連接）。

如果沒有則檢查當前所開連接池是否達到連接池所允許的最大連接數（maxconn）如果沒有達到，就新建一個連接，如果已經達到，就等待一定的時間（timeout）。

如果在等待的時間內有連接被釋放出來就可以把這個連接分配給等待的用戶，如果等待時間超過預定時間timeout 則返回空值（null）。

系統對已經分配出去正在使用的連接只做計數，當使用完後再返還給空閑池。對於空閑連接的狀態，可開闢專門的執行緒定時檢測，這樣會花費一定的系統開銷，但可以保證較快的響應速度。也可採取不開闢專門執行緒，只是在分配前檢測的方法。

5、連接池的配置與維護

連接池中到底應該放置多少連接，才能使系統的性能最佳？系統可採取設置最小連接數（minconn）和最大連接數（maxconn）來控制連接池中的連接。最小連接數是系統啟動時連接池所創建的連接數。Druid 目前最好的連接池，這個推薦給大家。

如果創建過多，則系統啟動就慢，但創建後系統的響應速度會很快；如果創建過少，則系統啟動的很快，響應起來卻慢。

這樣，可以在開發時，設置較小的最小連接數，開發起來會快，而在系統實際使用時設置較大的，因為這樣對訪問客戶來說速度會快些。最大連接數是連接池中允許連接的最大數目，具體設置多少，要看系統的訪問量，可通過反覆測試，找到最佳點。

如何確保連接池中的最小連接數呢？有動態和靜態兩種策略。動態即每隔一定時間就對連接池進行檢測，如果發現連接數量小於最小連接數，則補充相應數量的新連接以保證連接池的正常運轉。靜態是發現空閑連接不夠時再去檢查。

四、實際開發中有成熟的開源連接池供我們使用

理解了連接池的原理就可以了，沒有必要什麼都從頭寫一遍，那樣會花費很多時間，並且性能及穩定性也不一定滿足要求。

事實上，已經存在很多流行的性能優良的第三方資料庫連接池jar包供我們使用。如：

• Apache commons-dbcp
• c3p0
• Druid
• HikariCP

其中c3p0已經很久沒有更新了。

DBCP更新速度很慢，基本處於不活躍狀態，而Druid和HikariCP處於活躍狀態的更新中。