HBase多模式的机遇与挑战
- 2019 年 11 月 23 日
- 筆記
什么是Apache HBase
Hadoop Database，是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。
- 松散表结构(Schema free)
- 原生海量数据分布式存储
- 随机查询、范围查询
- 高吞吐，低延迟
- 在线分布式数据库
- 多版本，增量导入，多维删除
ApsaraDB HBase Platform
- 平台架构
- 平台优势
|
|
Item |
ApsaraDB ForHBase (Aliyun Product) |
ApacheHBase(Software) |
|---|---|---|---|
|
Basic |
High availability |
99.9%~ 99.99% |
N/A |
|
Data reliability |
99.999999999% |
N/A |
|
|
Online Ability |
Multi-master clustering |
Multi-master clustering，Multi-AZ/Regon |
NO |
|
GC |
FGCNO，YGC5ms |
GC 20s~100s，YGC100ms+ |
|
|
Reduce Cost |
Storage Cost |
Cut by 50%+on share cloud disk，Total3 Copy |
Maybe on Cloud Disk，Total9 Copy |
|
SupportCold Storage |
SupportOSS，Cut by 70% atless read |
NO |
|
|
Multi-model DB |
Multi-model DB |
KV，Tabular，SQL，Graph，Time Series，Geospatial Full Text index， Search |
KV，Tabular |
|
Enterprise Characteristics |
Disaster recovery |
Backup and Restore |
NO，maybe3.0 |
|
Security |
user/password，ACL |
Kerberos，ACL |
|
|
Analytics |
SparkonHBase ，Moreoptimization |
SparkonHBase |
|
|
Version upgrade |
Automatic upgrade |
N/A |
|
|
Self-driven |
Databasecontrol system |
15min Createa DB/MonitorOnline add storage and node/ElasticPowerinfuture |
N/A |
|
Diagnostic System |
Big request ，Big Table merge，HotRegion…… |
NO |
- 使用场景
|
数据类型 |
存储对象 |
代表场景 |
组件 |
优势 |
|---|---|---|---|---|
|
KV/表格存储 |
稀疏表 |
简单kv信息风控 画像表等稀疏表 |
HBase API |
动态列 |
|
SQL |
带类型的 |
替换单机关系数据库 |
HBase-Phoenix |
SQL语法具备Hbase所有的优势 |
|
文档数据 |
json/xml/html |
新闻 |
HBaseAPI |
存储空间大 |
|
对象数据 |
图片/视频等 |
小对象存储 |
HBase |
性能与存储空间兼备 |
|
时序数据 |
传感器数据 |
监控数据 |
HBaseHBase-OpenTSDB |
写性能高、存储量大 |
|
时空数据 |
轨迹 |
轨迹、时空数据 |
HBaseHBase-GeoMesa |
写性能高、存储量大 |
|
图关系数据 |
关系 |
欺诈场景 |
Hbase-HGraphDB |
分布式图 |
|
OLAP |
cube |
报表 |
Kylin或自己构建 |
计算前置实时查询 |
人才的成长
- 成长历程
- 2-3年夯实基础
- 4-6年成为专家
- 7-10年无中生有
- 引领-带领
- 成长建议
- 关注社区，多写文章
- 请教高手
- 项目中成长
- 保持敬畏
- 坚持
附上HBase多模式的机遇与挑战PPT：
Sharding-Sphere由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar组成的开源生态圈，提供数据分片、读写分离、柔性事务和数据治理功能。Sharding-Sphere官方公众号定期发布Sharding-Sphere官方更新。
