Hadoop支持的压缩格式对比和应用场景以及Hadoop native库
- 2020 年 12 月 31 日
- 笔记
对于文件的存储、传输、磁盘IO读取等操作在使用Hadoop生态圈的存储系统时是非常常见的，而文件的大小等直接影响了这些操 …
Continue ReadingHBase中Memstore存在的意义以及多列族引起的问题和设计
- 2020 年 12 月 2 日
- 笔记
Memstore存在的意义 HBase在WAL机制开启的情况下，不考虑块缓存，数据日志会先写入HLog，然后进入Mems …
Continue Reading如何有效恢复误删的HDFS文件
- 2020 年 12 月 1 日
- 笔记
HDFS是大数据领域比较知名的分布式存储系统，作为大数据相关从业人员，每天处理HDFS上的文件数据是常规操作。这就容易带 …
Continue Reading
Kafka作为分布式消息系统的系统解析
- 2020 年 11 月 30 日
- 笔记
Kafka概述 Apache Kafka由Scala和Java编写，基于生产者和消费者模型作为开源的分布式发布订阅消息系 …
Continue ReadingHBase高级特性、rowkey设计以及热点问题处理
- 2020 年 11 月 25 日
- 笔记
在阐述HBase高级特性和热点问题处理前，首先回顾一下HBase的特点：分布式、列存储、支持实时读写、存储的数据类型都是 …
Continue Reading
深入探讨HBASE
- 2020 年 11 月 16 日
- 笔记
HBASE基础 1. HBase简介HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布 …
Continue ReadingHive Join优化
- 2020 年 11 月 12 日
- 笔记
在阐述Hive Join具体的优化方法之前，首先看一下Hive Join的几个重要特点，在实际使用时也可以利用下列特点做 …
Continue Reading关于HDFS应知应会的N个问题 | 技术点
- 2020 年 10 月 30 日
- 笔记
1. Namenode的安全模式 ？ 安全模式是Namenode的一种状态（Namenode主要有active/stan …
Continue Reading
必须掌握的分布式文件存储系统—HDFS
- 2020 年 10 月 27 日
- 笔记
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如S …
Continue Reading