IM開發基礎知識補課(六)：資料庫用NoSQL還是SQL？讀這篇就夠了！

• 2019 年 10 月 8 日
• 筆記

1、引言

隨著互聯網大數據時代的到來，越來越多的網站、應用系統都需要支撐大量甚至海量數據存儲，同時還伴有高並發、高可用、高可擴展等特性要求。

很多時候，傳統的關係型資料庫在應付這些已經顯得力不從心，並暴露了許多難以克服的問題。

由此，各種各樣的 NoSQL（Not Only SQL）資料庫作為傳統關係型數據的一個有力補充得到迅猛發展。

本文將分析傳統資料庫（即SQL資料庫）存在的一些問題，以及盤點目前市面上幾大類 NoSQL 特性、優缺點等，希望給大家提供一些在不同業務場景下存儲技術選型方面的參考。

點評：作為專業分享即時通訊開發知識的社區來說，很多IM開發者在進行架構設計和選型的第一時間想到的，就是該如何選擇資料庫，MySQL？Oracle？SQL Server？或者NoSQL？這顯然沒有標準答案，因為每個產品、每套系統、每個架構都有自身的用戶規模、適應場景、成本因素等等考量。本文可能無法給予同為即時通訊開發者的你一個確切答案，但當你在讀完本文，對市面上主要資料庫（包括NoSQL資料庫）的技術特性、適用場景、優缺點都有了解之後，相信你完全能夠根據自已產品或系統的特點，找到適合你的資料庫方案，這也正是本文的意義所在。

學習交流：

– 即時通訊/推送技術開發交流5群：215477170 [推薦] – 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》

（本文同步發佈於：http://www.52im.net/thread-2759-1-1.html）

2、關於作者

陳彩華（caison）：主要從事服務端開發、需求分析、系統設計、優化重構工作，主要開發語言是 Java，現任廣州貝聊服務端研發工程師。

陳彩華還分享過另幾篇技術文章，如有興趣可一併閱讀：

《新手入門：目前為止最透徹的的Netty高性能原理和框架架構解析》 《高性能網路編程(五)：一文讀懂高性能網路編程中的I/O模型》 《高性能網路編程(六)：一文讀懂高性能網路編程中的執行緒模型》

3、系列文章

▼ IM開發乾貨系列文章（本文是其第18篇）：

《IM消息送達保證機制實現(一)：保證在線實時消息的可靠投遞》 《IM消息送達保證機制實現(二)：保證離線消息的可靠投遞》 《如何保證IM實時消息的「時序性」與「一致性」？》 《IM單聊和群聊中的在線狀態同步應該用「推」還是「拉」？》 《IM群聊消息如此複雜，如何保證不丟不重？》 《一種Android端IM智慧心跳演算法的設計與實現探討（含樣例程式碼）》 《移動端IM登錄時拉取數據如何作到省流量？》 《通俗易懂：基於集群的移動端IM接入層負載均衡方案分享》 《淺談移動端IM的多點登陸和消息漫遊原理》 《IM開發基礎知識補課(一)：正確理解前置HTTP SSO單點登陸介面的原理》 《IM開發基礎知識補課(二)：如何設計大量圖片文件的服務端存儲架構？》 《IM開發基礎知識補課(三)：快速理解服務端資料庫讀寫分離原理及實踐建議》 《IM開發基礎知識補課(四)：正確理解HTTP短連接中的Cookie、Session和Token》 《IM群聊消息的已讀回執功能該怎麼實現？》 《IM群聊消息究竟是存1份(即擴散讀)還是存多份(即擴散寫)？》 《IM開發基礎知識補課(五)：通俗易懂，正確理解並用好MQ消息隊列》 《一個低成本確保IM消息時序的方法探討》 《IM開發基礎知識補課(六)：資料庫用NoSQL還是SQL？讀這篇就夠了！》（本文）

如果您是IM開發初學者，強烈建議首先閱讀《新手入門一篇就夠：從零開發移動端IM》。

4、傳統SQL資料庫的缺點

傳統的關係資料庫有如下幾個缺點。

1）大數據場景下 I/O 較高：因為數據是按行存儲，即使只針對其中某一列進行運算，關係型資料庫也會將整行數據從存儲設備中讀入記憶體，導致 I/O 較高。

2）存儲的是行記錄：無法存儲數據結構。

3）表結構 Schema 擴展不方便：如要修改表結構，需要執行 DDL(data definition language)，語句修改，修改期間會導致鎖表，部分服務不可用。

4）全文搜索功能較弱：關係型資料庫下只能夠進行子字元串的匹配查詢，當表的數據逐漸變大的時候，like 查詢的匹配會非常慢，即使在有索引的情況下。況且關係型資料庫也不應該對文本欄位進行索引。

5）存儲和處理複雜關係型數據功能較弱：許多應用程式需要了解和導航高度連接數據之間的關係，才能啟用社交應用程式、推薦引擎、欺詐檢測、知識圖譜、生命科學和 IT/網路等用例。然而傳統的關係資料庫並不善於處理數據點之間的關係。它們的表格數據模型和嚴格的模式使它們很難添加新的或不同種類的關聯資訊。

5、NoSQL 解決方案

NoSQL（Not Only SQL），泛指非關係型的資料庫，可以理解為 SQL 的一個有力補充。

在 NoSQL 許多方面性能大大優於非關係型資料庫的同時，往往也伴隨一些特性的缺失，比較常見的是事務庫事務功能的缺失。

資料庫事務正確執行的四個基本要素 ACID 如下：

下面將分別介紹 5 大類 NoSQL 資料庫的技術特性，以及針對傳統關係型資料庫的缺點。

6、列式資料庫

列式資料庫是以列相關存儲架構進行數據存儲的資料庫，主要適合於批量數據處理和即時查詢。

相對應的是行式資料庫，數據以行相關的存儲體系架構進行空間分配，主要適合於小批量的數據處理，常用於聯機事務型數據處理。

基於列式資料庫的列列存儲特性，可以解決某些特定場景下關係型資料庫 I/O 較高的問題。

6.1 基本原理

傳統關係型資料庫是按照行來存儲資料庫，稱為「行式資料庫」，而列式資料庫是按照列來存儲數據。

將表放入存儲系統中有兩種方法，而我們絕大部分是採用行存儲的。行存儲法是將各行放入連續的物理位置，這很像傳統的記錄和文件系統。

列存儲法是將數據按照列存儲到資料庫中，與行存儲類似。

下圖是兩種存儲方法的圖形化解釋：

6.2 常見列式資料庫

HBase：是一個開源的非關係型分散式資料庫（NoSQL），它參考了Google的 BigTable 建模，實現的程式語言為 Java。

它是 Apache 軟體基金會的 Hadoop 項目的一部分，運行於 HDFS 文件系統之上，為 Hadoop 提供類似於 BigTable 規模的服務。因此，它可以容錯地存儲海量稀疏的數據。

BigTable：是一種壓縮的、高性能的、高可擴展性的，基於 Google 文件系統（Google File System，GFS）的數據存儲系統，用於存儲大規模結構化數據，適用於雲端計算。

6.3 相關特性

1）優點如下：

高效的儲存空間利用率：列式資料庫由於其針對不同列的數據特徵而發明的不同演算法使其往往有比行式資料庫高的多的壓縮率。

普通的行式資料庫一般壓縮率在 3：1 到 5：1 左右，而列式資料庫的壓縮率一般在 8：1 到 30：1 左右。

比較常見的，通過字典表壓縮數據： 下面中才是那張表本來的樣子。經過字典表進行數據壓縮後，表中的字元串才都變成數字了。

正因為每個字元串在字典表裡只出現一次了，所以達到了壓縮的目的(有點像規範化和非規範化 Normalize 和 Denomalize)。

查詢效率高：讀取多條數據的同一列效率高，因為這些列都是存儲在一起的，一次磁碟操作可以把數據的指定列全部讀取到記憶體中。

下圖通過一條查詢的執行過程說明列式存儲(以及數據壓縮)的優點：

執行步驟如下：

a. 去字典表裡找到字元串對應數字(只進行一次字元串比較)； b. 用數字去列表裡匹配，匹配上的位置設為 1。； c. 把不同列的匹配結果進行位運算得到符合所有條件的記錄下標； d. 使用這個下標組裝出最終的結果集。

列式資料庫還適合做聚合操作，適合大量的數據而不是小數據。

2）缺點如下：

不適合掃描小量數據；

不適合隨機的更新；

不適合做含有刪除和更新的實時操作；

單行的數據是 ACID 的，多行的事務時，不支援事務的正常回滾，支援 I(Isolation)隔離性(事務串列提交)，D(Durability)持久性，不能保證 A(Atomicity)原子性， C(Consistency)一致性。

6.3 使用場景

以 HBase 為例說明：

1）大數據量（100s TB級數據），且有快速隨機訪問的需求；

2）寫密集型應用，每天寫入量巨大，而相對讀數量較小的應用，比如 IM 的歷史消息，遊戲的日誌等等；

3）不需要複雜查詢條件來查詢數據的應用，HBase 只支援基於 rowkey 的查詢，對於 HBase 來說，單條記錄或者小範圍的查詢是可以接受的。大範圍的查詢由於分散式的原因，可能在性能上有點影響，HBase 不適用於有 join，多級索引，表關係複雜的數據模型；

4）對性能和可靠性要求非常高的應用，由於 HBase 本身沒有單點故障，可用性非常高；

5）數據量較大而且增長量無法預估的應用，需要進行優雅的數據擴展的 HBase 支援在線擴展，即使在一段時間內數據量呈井噴式增長，也可以通過 HBase 橫向擴展來滿足功能；

6）存儲結構化和半結構化的數據。

7、K-V 資料庫

指的是使用鍵值(key-value)存儲的資料庫，其數據按照鍵值對的形式進行組織、索引和存儲。

K-V 存儲非常適合不涉及過多數據關係業務關係的數據，同時能有效減少讀寫磁碟的次數，比 SQL 資料庫存儲擁有更好的讀寫性能，能夠解決關係型資料庫無法存儲數據結構的問題。

7.1 常見 K-V 資料庫

Redis：是一個使用 ANSI C 編寫的開源、支援網路、基於記憶體、可選持久性的鍵值對存儲資料庫。

從 2015 年 6 月開始，Redis 的開發由 Redis Labs 贊助，而 2013 年 5 月至 2015 年 6 月期間，其開發由 Pivotal 贊助。

在 2013 年 5 月之前，其開發由 VMware 贊助。根據月度排行網站 DB-Engines.com 的數據顯示，Redis 是最流行的鍵值對存儲資料庫。

Cassandra：Apache Cassandra（社區內一般簡稱為C*）是一套開源分散式 NoSQL 資料庫系統。

它最初由 Facebook 開發，用於儲存收件箱等簡單格式數據，集 Google BigTable 的數據模型與 Amazon Dynamo 的完全分散式架構於一身。

Facebook 於 2008 將 Cassandra 開源，此後，由於 Cassandra 良好的可擴展性和性能。

它被 Apple，Comcas，Instagram，Spotify，eBay，Rackspace，Netflix 等知名網站所採用，成為了一種流行的分散式結構化數據存儲方案。

LevelDB：是一個由 Google 公司所研發的鍵／值對（Key/Value Pair）嵌入式資料庫管理系統編程庫， 以開源的 BSD 許可證發布。

7.2 相關特性

以 Redis 為例，K-V 資料庫優點如下：

1）性能極高：Redis 能支援超過 10W 的 TPS；

2）豐富的數據類型：Redis 支援包括 String，Hash，List，Set，Sorted Set，Bitmap 和 Hyperloglog；

3）豐富的特性：Redis 還支援 publish/subscribe，通知，key 過期等等特性。

缺點如下：

針對 ACID，Redis 事務不能支援原子性和持久性(A 和 D)，只支援隔離性和一致性(I 和 C) 。

特別說明一下：這裡所說的無法保證原子性，是針對 Redis 的事務操作，因為事務是不支援回滾（roll back），而因為 Redis 的單執行緒模型，Redis 的普通操作是原子性的。

大部分業務不需要嚴格遵循 ACID 原則，例如遊戲實時排行榜，粉絲關注等場景，即使部分數據持久化失敗，其實業務影響也非常小。因此在設計方案時，需要根據業務特徵和要求來做選擇。

7.3 使用場景

適用場景：

儲存用戶資訊(比如會話)、配置文件、參數、購物車等等。這些資訊一般都和 ID（鍵）掛鉤。

不適用場景：

1）需要通過值來查詢，而不是鍵來查詢：Key-Value 資料庫中根本沒有通過值查詢的途徑；

2）需要儲存數據之間的關係：在 Key-Value 資料庫中不能通過兩個或以上的鍵來關聯數據；

3）需要事務的支援：在 Key-Value 資料庫中故障產生時不可以進行回滾。

8、文檔資料庫

文檔資料庫（也稱為文檔型資料庫）是旨在將半結構化數據存儲為文檔的一種資料庫。文檔資料庫通常以 JSON 或 XML 格式存儲數據。

由於文檔資料庫的 no-schema 特性，可以存儲和讀取任意數據。

由於使用的數據格式是 JSON 或者 BSON，因為 JSON 數據是自描述的，無需在使用前定義欄位，讀取一個 JSON 中不存在的欄位也不會導致 SQL 那樣的語法錯誤，可以解決關係型資料庫表結構 Schema 擴展不方便的問題。

8.1 常見文檔資料庫

MongoDB：是一種面向文檔的資料庫管理系統，由 C++ 撰寫而成，以此來解決應用程式開發社區中的大量現實問題。2007 年 10 月，MongoDB 由 10gen 團隊所發展。2009 年 2 月首度推出。

CouchDB：Apache CouchDB 是一個開源資料庫，專註於易用性和成為"完全擁抱 Web 的資料庫"。

它是一個使用 JSON 作為存儲格式，JavaScript 作為查詢語言，MapReduce 和 HTTP 作為 API 的 NoSQL 資料庫。

其中一個顯著的功能就是多主複製。CouchDB 的第一個版本發布在 2005 年，在 2008 年成為了 Apache 的項目。

8.2 相關特性

以 MongoDB 為例進行說明，文檔資料庫優點如下：

1）新增欄位簡單，無需像關係型資料庫一樣先執行 DDL 語句修改表結構，程式程式碼直接讀寫即可；

2）容易兼容歷史數據，對於歷史數據，即使沒有新增的欄位，也不會導致錯誤，只會返回空值，此時程式碼兼容處理即可；

3）容易存儲複雜數據，JSON 是一種強大的描述語言，能夠描述複雜的數據結構。

相比傳統關係型資料庫，文檔資料庫的缺點主要是對多條數據記錄的事務支援較弱，具體體現如下：

1）Atomicity(原子性)，僅支援單行/文檔級原子性，不支援多行、多文檔、多語句原子性；

2）Solation(隔離性)，隔離級別僅支援已提交讀（Read committed）級別，可能導致不可重複讀，幻讀的問題；

3）不支援複雜查詢，例如 join 查詢，如果需要 join 查詢，需要多次操作資料庫。

MongonDB 還支援多文檔事務的 Consistency(一致性)和 Durability(持久性)，雖然官方宣布 MongoDB 將在 4.0 版本中正式推出多文檔 ACID 事務支援，最後落地情況還有待見證。

8.3 使用場景

適用場景：

1）數據量很大或者未來會變得很大；

2）表結構不明確，且欄位在不斷增加，例如內容管理系統，資訊管理系統。

不適用場景：

1）在不同的文檔上需要添加事務。Document-Oriented 資料庫並不支援文檔間的事務；

2）多個文檔之間需要複雜查詢，例如 join。

9、全文搜索引擎

傳統關係型資料庫主要通過索引來達到快速查詢的目的，在全文搜索的業務下，索引也無能為力。

主要體現在：

1）全文搜索的條件可以隨意排列組合，如果通過索引來滿足，則索引的數量非常多；

2）全文搜索的模糊匹配方式，索引無法滿足，只能用 like 查詢，而 like 查詢是整表掃描，效率非常低。

而全文搜索引擎的出現，正是解決關係型資料庫全文搜索功能較弱的問題。

9.1 基本原理

全文搜索引擎的技術原理稱為「倒排索引」（inverted index），是一種索引方法，其基本原理是建立單詞到文檔的索引。與之相對的是「正排索引」，其基本原理是建立文檔到單詞的索引。

現在有如下文檔集合：

正排索引得到索引如下：

由上可見，正排索引適用於根據文檔名稱查詢文檔內容。

簡單的倒排索引如下：

帶有單詞頻率資訊的倒排索引如下：

由上可見，倒排索引適用於根據關鍵詞來查詢文檔內容。

9.2 常見全文搜索引擎

Elastic search：是一個基於 Lucene 的搜索引擎。它提供了一個分散式，多租戶，能夠全文搜索與發動機 HTTP Web 介面和無架構 JSON 文件。

Elastic search 是用 Java 開發的，並根據 Apache License 的條款作為開源發布。

根據 DB-Engines 排名，Elasticsearch 是最受歡迎的企業搜索引擎，後面是基於 Lucene 的 Apache Solr。

Solr：是 Apache Lucene 項目的開源企業搜索平台。其主要功能包括全文檢索、命中標示、分面搜索、動態聚類、資料庫集成，以及富文本（如 Word、PDF）的處理。Solr 是高度可擴展的，並提供了分散式搜索和索引複製。

9.3 相關特性

以 Elasticsearch 為例，全文搜索引擎優點如下：

1）查詢效率高，對海量數據進行近實時的處理；

2）可擴展性，基於集群環境可以方便橫向擴展，可以承載 PB 級數據；

3）高可用，Elasticsearch 集群彈性，他們將發現新的或失敗的節點，重組和重新平衡數據，確保數據是安全的和可訪問的。

缺點如下：

1）ACID 支援不足，單一文檔的數據是 ACID 的，包含多個文檔的事務時不支援事務的正常回滾，支援 I(Isolation)隔離性（基於樂觀鎖機制的），D(Durability)持久性，不支援 A(Atomicity)原子性，C(Consistency)一致性；

2）對類似資料庫中通過外鍵的複雜的多表關聯操作支援較弱；

3）讀寫有一定延時，寫入的數據，最快 1s 中能被檢索到；

4）更新性能較低，底層實現是先刪數據，再插入新數據；

5）記憶體佔用大，因為 Lucene 將索引部分載入到記憶體中。

9.4 使用場景

適用場景如下：

1）分散式的搜索引擎和數據分析引擎；

2）全文檢索，結構化檢索，數據分析；

3）對海量數據進行近實時的處理，可以將海量數據分散到多台伺服器上去存儲和檢索。

不適用場景如下：

1）數據需要頻繁更新；

2）需要複雜關聯查詢。

10、圖形資料庫

圖形資料庫應用圖形理論存儲實體之間的關係資訊。最常見例子就是社會網路中人與人之間的關係。

關係型資料庫用於存儲「關係型」數據的效果並不好，其查詢複雜、緩慢、超出預期。

而圖形資料庫的獨特設計恰恰彌補了這個缺陷，解決關係型資料庫存儲和處理複雜關係型數據功能較弱的問題。

10.1 常見圖形資料庫

Neo4j：是由 Neo4j，Inc. 開發的圖形資料庫管理系統。由其開發人員描述為具有原生圖存儲和處理的符合 ACID 的事務資料庫，根據 DB-Engines 排名，Neo4j 是最流行的圖形資料庫。

ArangoDB：是由 triAGENS GmbH 開發的原生多模型資料庫系統。資料庫系統支援三個重要的數據模型（鍵/值，文檔，圖形），其中包含一個資料庫核心和統一查詢語言 AQL（ArangoDB 查詢語言）。

查詢語言是聲明性的，允許在單個查詢中組合不同的數據訪問模式。ArangoDB 是一個 NoSQL 資料庫系統，但 AQL 在很多方面與 SQL 類似。

Titan：是一個可擴展的圖形資料庫，針對存儲和查詢包含分布在多機群集中的數百億個頂點和邊緣的圖形進行了優化。

Titan 是一個事務性資料庫，可以支援數千個並發用戶實時執行複雜的圖形遍歷。

10.2 相關特性

以 Neo4j 為例，Neo4j 使用數據結構中圖（graph）的概念來進行建模。Neo4j 中兩個最基本的概念是節點和邊。

節點表示實體，邊則表示實體之間的關係。節點和邊都可以有自己的屬性。不同實體通過各種不同的關係關聯起來，形成複雜的對象圖。

針對關係數據，兩種資料庫的存儲結構不同：

Neo4j 中，存儲節點時使用了「index-free adjacency」，即每個節點都有指向其鄰居節點的指針，可以讓我們在 O(1) 的時間內找到鄰居節點。

另外，按照官方的說法，在 Neo4j 中邊是最重要的，即「first-class entities」，所以單獨存儲，這有利於在圖遍歷的時候提高速度，也可以很方便地以任何方向進行遍歷。

優點如下：

1）高性能表現，圖的遍歷是圖數據結構所具有的獨特演算法，即從一個節點開始，根據其連接的關係，可以快速和方便地找出它的鄰近節點。

這種查找數據的方法並不受數據量的大小所影響，因為鄰近查詢始終查找的是有限的局部數據，不會對整個資料庫進行搜索。

2）設計的靈活性，數據結構的自然伸展特性及其非結構化的數據格式，讓圖資料庫設計可以具有很大的伸縮性和靈活性。

因為隨著需求的變化而增加的節點、關係及其屬性並不會影響到原來數據的正常使用。

3）開發的敏捷性，直觀明了的數據模型，從需求的討論開始，到程式開發和實現，以及最終保存在資料庫中的樣子，它的模樣似乎沒有什麼變化，甚至可以說本來就是一模一樣的。

4）完全支援 ACID，不像別的 NoSQL 資料庫，Neo4j 還具有完全事務管理特性，完全支援 ACID 事務管理。

缺點如下：

1）具有支援節點，關係和屬性的數量的限制；

2）不支援拆分。

10.3 使用場景

適用場景如下：

1）在一些關係性強的數據中，例如社交網路；

2）推薦引擎。如果我們將數據以圖的形式表現，那麼將會非常有益於推薦的制定。

不適用場景如下：

1）記錄大量基於事件的數據（例如日誌條目或感測器數據）；

2）對大規模分散式數據進行處理，類似於 Hadoop；

3）適合於保存在關係型資料庫中的結構化數據；

4）二進位數據存儲。

11、本文小結

關係型資料庫和 NoSQL 資料庫的選型，往往需要考慮幾個指標：

1）數據量；

2）並發量；

3）實時性；

4）一致性要求；

5）讀寫分布和類型；

6）安全性；

7）運維成本。

常見軟體系統資料庫選型參考如下：

1）內部使用的管理型系統，如運營系統，數據量少，並發量小，首選考慮關係型；

2）大流量系統，如電商單品頁，後台考慮選關係型，前台考慮選記憶體型；

3）日誌型系統，原始數據考慮選列式，日誌搜索考慮選倒排索引；

4）搜索型系統，例如站內搜索，非通用搜索，如商品搜索，後台考慮選關係型，前台考慮選倒排索引；

5）事務型系統，如庫存，交易，記賬，考慮選關係型+快取+一致性型協議；

6）離線計算，如大量數據分析，考慮選列式或者關係型也可以；

7）實時計算，如實時監控，可以考慮選記憶體型或者列式資料庫。

在設計實踐中，我們要基於需求、業務驅動架構，無論選用 RDB/NoSQL/DRDB，一定是以需求為導向，最終數據存儲方案必然是各種權衡的綜合性設計。