牛!一個比傳統資料庫快 100-1000 倍的資料庫

  • 2020 年 9 月 27 日
  • 筆記

前言

  • 一、ClickHouse 是什麼?
  • 二、業務問題
  • 三、ClickHouse實踐
  • 四、遇到的坑
  • 五、總結

一、ClickHouse 是什麼?

ClickHouse:是一個用於聯機分析(OLAP)的列式資料庫管理系統(DBMS)

我們首先理清一些基礎概念

  • OLTP:是傳統的關係型資料庫,主要操作增刪改查,強調事務一致性,比如銀行系統、電商系統
  • OLAP:是倉庫型資料庫,主要是讀取數據,做複雜數據分析,側重技術決策支援,提供直觀簡單的結果

接著我們用圖示,來理解一下列式資料庫行式資料庫區別

在傳統的行式資料庫系統中(MySQL、Postgres和MS SQL Server),數據按如下順序存儲:

img

在列式資料庫系統中(ClickHouse),數據按如下的順序存儲:

img

兩者在存儲方式上對比:

img

以上是ClickHouse基本介紹,更多可以查閱官方手冊

二、業務問題

業務端現有存儲在Mysql中,5000萬數據量的大表及兩個輔表,單次聯表查詢開銷在3min+,執行效率極低。經過索引優化、水平分表、邏輯優化,成效較低,因此決定藉助ClickHouse來解決此問題

最終通過優化,查詢時間降低至1s內,查詢效率提升200倍!

希望通過本文,可以幫助大家快速掌握這一利器,並能在實踐中少走彎路。

三、ClickHouse實踐

1.Mac下的Clickhouse安裝

我是通過docker安裝,查看教程。也可以下載CK編譯安裝,相對麻煩一些。

2.數據遷移:從Mysql到ClickHouse

ClickHouse支援Mysql大多數語法,遷移成本低,目前有五種遷移方案:

  • create table engin mysql,映射方案數據還是在Mysql
  • insert into select from,先建表,在導入
  • create table as select from,建表同時導入
  • csv離線導入
  • streamsets

選擇第三種方案做數據遷移:

CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password') 

3.性能測試對比

類型數據量表大小查詢速度Mysql5000萬10G205sClickHouse5000萬600MB1s內

4.數據同步方案

臨時表

img

圖片來源:攜程 新建temp中間表,將Mysql數據全量同步到ClickHouse內temp表,再替換原ClickHouse中的表,適用數據量適度,增量和變數頻繁的場景

synch

img

開源的同步軟體推薦:synch 原理是通過Mysql的binlog日誌,獲取sql語句,再通過消息隊列消費task

5.ClickHouse為什麼快?

  • 只需要讀取要計算的列數據,而非行式的整行數據讀取,降低IO cost
  • 同列同類型,有十倍壓縮提升,進一步降低IO
  • clickhouse根據不同存儲場景,做個性化搜索演算法

四、遇到的坑

1.ClickHouse與mysql數據類型差異性

用Mysql的語句查詢,發現報錯:

img

解決方案:LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id),中轉一下,統一無符號類型關聯

2.刪除或更新是非同步執行,只保證最終一致性

查詢CK手冊發現,即便對數據一致性支援最好的Mergetree,也只是保證最終一致性:

img

如果對數據一致性要求較高,推薦大家做全量同步來解決

五、總結

通過ClickHouse實踐,完美的解決了Mysql查詢瓶頸,20億行以下數據量級查詢,90%都可以在1s內給到結果,隨著數據量增加,ClickHouse同樣也支援集群,大家如果感興趣,可以積極嘗試 : )