前面，我們已經打下了很多關於HBase的理論基礎，今天，我們主要聊聊在實際開發使用HBase中，需要關注的一些最佳實踐經驗。

1.Schema設計七大原則

1）每個region的大小應該控制在10G到50G之間；

2）一個表最好保持在 50到100個 region的規模；

3）每個cell最大不應該超過10MB，如果超過，應該有些考慮業務拆分，如果實在無法拆分，那就只能使用mob；

4）跟傳統的關係型資料庫不同，一個HBase的表中列族最多不超過3個，列族中的列可以動態添加的，不要設計過多列族；

5）列族名必須盡量短，因為我們知道在存儲的時候，每個keyvalue都會包含列族名；

6）如果一個表存在一個以上的列族，那麼必須要注意，不同列族之間行數相差不要太大。 例如列族A有10萬行，而列族B有1億行，那麼rowkey就有1億行，而region是按照行鍵進行切分的，因此列族A可能會被打散為很多很多小region，這會導致在掃描列族A時會引發較多IO，效率低下。

7）列族可以設置TTL時間，HBase在超過設定時間後，會自動刪除數據。

設置方法有兩種：

# 建表時設置,TTL單位為秒，此例中列簇’f1’的數據保留1天（86400秒）

hbase(main):002:0>create ‘table’, {NAME => ‘f1’, TTL => 86400}

# 通過修改表設置

hbase(main):002:0>alter ‘table’, {NAME => ‘f1’, TTL => 86400}

這裡需要注意，一旦超過設定時間後，該數據就無法讀取了，但是，真正的過期數據刪除，是發生在major compaction時。

2.RowKey設計三大策略

HBase作為一個分散式存儲資料庫，雖然擴容非常容易，但是，對於“熱點”問題，還是非常頭疼的。

所謂“熱點”問題（HotSpotting），就是請求（讀或者寫）短時間內落在了集中的個別region上，導致了該region所在機器的負載急劇上升，超過了單點實例的承受能力，從而引起性能下降或者不可用。

要解決這個問題，就需要設計RowKey時，使得數據盡量往多個region上去寫。

舉個例子：

假如region按照26個字母分成26個，那麼同時寫入m開頭的rowkey的記錄都會同時寫入同一個region

比如m001,m002,m003,m004,m005。

因此，RowKey的設計非常關鍵。常見的設計策略有這麼幾種。

1）salting

salting策略就是將生成隨機數放在行鍵的開頭作為前綴，使得每個行鍵有隨機的字典序。

對上面的案例進行優化，我們採用了salting策略，插入前給每個rowkey生成一個隨機的字母，變成了

am001,zm002,nm003,qm004,lm005

這樣就能同時往5個region裡面寫入了，成功打散。

副作用：由於前綴生成是隨機的，因此如果想要按照字典序查詢這些行，則需要做更多的事情。從這個角度上看，salting增加了寫操作的吞吐量，卻也增大了讀操作的開銷。

2）Hashing

Hashing策略也是一種特殊的salting，是用一個單向的 hash 來取代隨機指派前綴。

這樣能使一個給定rowkey的行在“salted”時有相同的前綴，因此，這樣既可以分散RegionServer間的負載的，同時也允許在讀操作時能夠預測這個前綴值是什麼。確定性hash（ deterministic hash ）可以讓客戶端重建完整的行鍵，然後就可以像正常一樣用Get方法查詢確定的行。

3）reverse key

第三種預防hotspotting的方法是反轉一段固定長度或者可數的鍵，讓變化最多的某個位置放在rowkey的第一位，

副作用：對於Get操作沒有影響，但是不利於Scan操作進行範圍查詢，因為數據在原RowKey上的順序已經被打亂。

3.預分區

在 HBase核心特性—region split 中，我們知道已經提到過關於預分區。

主要原因是當一張表被首次創建時，只會分配一個region給這個表。因此，在剛剛開始時，所有讀寫請求都會落在這個region所在的region server上，而不管你整個集群有多少個region server。不能充分地利用集群的分散式特性。

因此，預分區主要也是解決“熱點”問題。

最為常見的建表語句為：

create ‘tb’,{NAME => ‘f1’,COMPRESSION => ‘snappy’ }, { NUMREGIONS => 50, SPLITALGO => ‘HexStringSplit’ }

• NUMREGIONS 為 region的個數，一般按照每個region 8-10GB左右來計算region數量，如果集群規模非常大，那麼region數量可以適當取大一些
• SPLITALGO 為 rowkey分割的演算法，Hbase自帶了三種pre-split的演算法，分別是 HexStringSplit、DecimalStringSplit 和 UniformSplit。

各種Split演算法適用場景：

• HexStringSplit: rowkey是十六進位的字元串作為前綴的
• DecimalStringSplit: rowkey是10進位數字字元串作為前綴的
• UniformSplit: rowkey前綴完全隨機

4.讀性能優化

前面主要講一些設計方面的優化點。

那如果在HBase的使用過程中，發現查詢較慢，那麼就需要根據具體情況，分析查詢慢的原因，並採取相應的策略。

 

看到這裡了，原創不易，點個關注、點個贊吧，你最好看了～

知識碎片重新梳理，構建Java知識圖譜：https://github.com/saigu/JavaKnowledgeGraph（歷史文章查閱非常方便）

掃碼關注我的公眾號“阿丸筆記”，第一時間獲取最新更新。同時可以免費獲取海量Java技術棧電子書、各個大廠面試題。