hbase構建二級索引解決方案
關注公眾號：
大數據技術派，回復「資料」，領取1024G資料。
1 為什麼需要二級索引
HBase的一級索引就是rowkey，我們僅僅能通過rowkey進行檢索。假設我們相對Hbase裡面列族的列列進行一些組合查詢，就只能全表掃描了。表如果較大的話，代價是不可接受的，所以要提出二級索引的方案。
二級索引的思想：簡單理解就是，根據列族的列的值，查出rowkey，再按照rowkey就能很快從hbase查詢出數據，我們需要構建出根據列族的列的值，很快查出rowkey的方案。
2 常見的二級索引方案
MapReduce方案；Coprocessor方案；elasticsearch+hbase方案；Solr+hbase方案；
2.1 MapReduce方案
IndexBuilder：利用MR的方式構建Index
長處：並發批量構建Index
缺點：不能實時構建Index
舉例：
原表：
row 1 f1:name zhangsan
row 2 f1:name lisi
row 3 f1:name wangwu
索引表：
row zhangsan f1:id 1
row lisi f1:id 2
row wangwu f1:id 3
這種方式的思想是再構建一張hbase表，列族的列這裡的name作為索引表的rowkey，根據rowkey查詢出數據hbase是很快的，拿到id後，也就拿到了原表的rowkey了，因為源表的rowkey就是id，每次查詢一共需要查詢兩張表。
2.2 Coprocessor方案
有關協處理器的講解，Hbase官方文檔是最好的，這裡大體說一下它的作用與使用方法。
- Coprocessor提供了一種機制可以讓開發者直接在RegionServer上運行自定義程式碼來管理數據。
通常我們使用get或者scan來從Hbase中獲取數據，使用Filter過濾掉不需要的部分，最後在獲得的數據上執行業務邏輯。但是當數據量非常大的時候，這樣的方式就會在網路層面上遇到瓶頸。客戶端也需要強大的計算能力和足夠大的記憶體來處理這麼多的數據，客戶端的壓力就會大大增加。但是如果使用Coprocessor，就可以將業務程式碼封裝，並在RegionServer上運行，也就是數據在哪裡，我們就在哪裡跑程式碼，這樣就節省了很大的數據傳輸的網路開銷。 - Coprocessor有兩種：Observer和Endpoint
EndPoint主要是做一些計算用的，比如計算一些平均值或者求和等等。而Observer的作用類似於傳統關係型資料庫的觸發器，在一些特定的操作之前或者之後觸發。學習過Spring的朋友肯定對AOP不陌生，想像一下AOP是怎麼回事，就會很好的理解Observer了。Observer Coprocessor在一個特定的事件發生前或發生後觸發。在事件發生前觸發的Coprocessor需要重寫以pre作為前綴的方法，比如prePut。在事件發生後觸發的Coprocessor使用方法以post作為前綴，比如postPut。
Observer Coprocessor的使用場景如下：
2.1. 安全性：在執行Get或Put操作前，通過preGet或prePut方法檢查是否允許該操作；
2.2. 引用完整性約束：HBase並不直接支援關係型資料庫中的引用完整性約束概念，即通常所說的外鍵。但是我們可以使用Coprocessor增強這種約束。比如根據業務需要，我們每次寫入user表的同時也要向user_daily_attendance表中插入一條相應的記錄，此時我們可以實現一個Coprocessor，在prePut方法中添加相應的程式碼實現這種業務需求。
2.3. 二級索引：可以使用Coprocessor來維持一個二級索引。正是我們需要的
索引設計思想
關鍵部分來了，既然Hbase並沒有提供二級索引，那如何實現呢？先看下面這張圖
我們的需求是找出滿足cf1:col2=c22這條記錄的cf1:col1的值，實現方法如圖，首先根據cf1:col2=c22查找到該記錄的行鍵，然後再通過行健找到對應的cf1:col1的值。其中第二步是很容易實現的，因為Hbase的行鍵是有索引的，那關鍵就是第一步，如何通過cf1:col2的值找到它對應的行鍵。很容易想到建立cf1:col2的映射關係，即將它們提取出來單獨放在一張索引表中，原表的值作為索引表的行鍵，原表的行鍵作為索引表的值，這就是Hbase的倒排索引的思想。
2.3 elasticsearch+hbase方案
比如說你現在有一行數據
id name age ….30 個欄位
但是你現在搜索，只需要根據 id name age 三個欄位來搜索
如果你傻乎乎的往 es 里寫入一行數據所有的欄位，就會導致說 70% 的數據是不用來搜索的，結果硬是佔據了 es 機器上的 filesystem cache 的空間，單挑數據的數據量越大，就會導致 filesystem cahce 能快取的數據就越少
僅僅只是寫入 es 中要用來檢索的少數幾個欄位就可以了，比如說，就寫入 es id name age 三個欄位就可以了，然後你可以把其他的欄位數據存在 mysql 裡面，我們一般是建議用 es + hbase 的這麼一個架構。
hbase 的特點是適用于海量數據的在線存儲，就是對 hbase 可以寫入海量數據，不要做複雜的搜索，就是做很簡單的一些根據 id 或者範圍進行查詢的這麼一個操作就可以了
從 es 中根據 name 和 age 去搜索，拿到的結果可能就 20 個 doc id，然後根據 doc id 到 hbase 里去查詢每個 doc id 對應的完整的數據，給查出來，再返回給前端。
你最好是寫入 es 的數據小於等於，或者是略微大於 es 的 filesystem cache 的記憶體容量
然後你從 es 檢索可能就花費 20ms，然後再根據 es 返回的 id 去 hbase 里查詢，查 20 條數據，可能也就耗費個 30ms，可能你原來那麼玩兒，1T 數據都放 es，會每次查詢都是 5 ~ 10 秒，現在可能性能就會很高，每次查詢就是 50ms。
四個字總結的話，我覺得就是「各司其職」，HBase 就用來存儲，ES 就用來做索引，況且目前的實際情況跟文章中說的也很像，要查詢的欄位就幾個，而其他的欄位又很大又沒用，沒必要都丟到 ES 中，浪費查詢效率
2.4 Solr+hbase方案
Solr是一個獨立的企業級搜索應用server，它對並提供相似干Web-service的API介面。用戶能夠通過http請求，向搜索引擎server提交一定格式的XML文件，生成索引。也能夠通過Http Get操作提出查找請求，並得到XML格式的返回結果。
Solr是一個高性能。採用Java5開發。基幹Lucene的全文搜索server。同一時候對其進行了擴展。提供了比Lucene更為豐富的查詢語言，同一時候實現了可配置、可擴展並對查詢性能進行了優化，而且提供了一個完好的功能節理介面。是一款非常優秀的全文搜索引擎。
HBase無可置疑擁有其優勢，但其本身僅僅對rowkey支援毫秒級的高速檢索，對於多欄位的組合查詢卻無能為力。基於Solr的HBase多條件查詢原理非常easy。將HBase表中涉及條件過濾的欄位和rowkey在Solr中建立索引，通過Solr的多條件查詢高速獲得符合過濾條件的rowkey值，拿到這些rowkey之後在HBASE中通過指定rowkey進行查詢。
網上其它還有根據Phoenix構建的，redis、mysql等都是可以嘗試的。
交流群
加我微信：ddxygq，回復「加群」，我拉你進群。
猜你喜歡
數倉建模—指標體系
數倉建模—寬表的設計
Spark SQL知識點與實戰
Hive計算最大連續登陸天數
Flink計算pv和uv的通用方法
