Hadoop支持的壓縮格式對比和應用場景以及Hadoop native庫
- 2020 年 12 月 31 日
- 筆記
對於文件的存儲、傳輸、磁盤IO讀取等操作在使用Hadoop生態圈的存儲系統時是非常常見的，而文件的大小等直接影響了這些操 …
Continue ReadingHBase中Memstore存在的意義以及多列族引起的問題和設計
- 2020 年 12 月 2 日
- 筆記
Memstore存在的意義 HBase在WAL機制開啟的情況下，不考慮塊緩存，數據日誌會先寫入HLog，然後進入Mems …
Continue Reading如何有效恢復誤刪的HDFS文件
- 2020 年 12 月 1 日
- 筆記
HDFS是大數據領域比較知名的分佈式存儲系統，作為大數據相關從業人員，每天處理HDFS上的文件數據是常規操作。這就容易帶 …
Continue Reading
Kafka作為分佈式消息系統的系統解析
- 2020 年 11 月 30 日
- 筆記
Kafka概述 Apache Kafka由Scala和Java編寫，基於生產者和消費者模型作為開源的分佈式發佈訂閱消息系 …
Continue ReadingHBase高級特性、rowkey設計以及熱點問題處理
- 2020 年 11 月 25 日
- 筆記
在闡述HBase高級特性和熱點問題處理前，首先回顧一下HBase的特點：分佈式、列存儲、支持實時讀寫、存儲的數據類型都是 …
Continue Reading
深入探討HBASE
- 2020 年 11 月 16 日
- 筆記
HBASE基礎 1. HBase簡介HBase是一個高可靠、高性能、面向列的，主要用于海量結構化和半結構化數據存儲的分佈 …
Continue ReadingHive Join優化
- 2020 年 11 月 12 日
- 筆記
在闡述Hive Join具體的優化方法之前，首先看一下Hive Join的幾個重要特點，在實際使用時也可以利用下列特點做 …
Continue Reading關於HDFS應知應會的N個問題 | 技術點
- 2020 年 10 月 30 日
- 筆記
1. Namenode的安全模式 ？ 安全模式是Namenode的一種狀態（Namenode主要有active/stan …
Continue Reading
必須掌握的分佈式文件存儲系統—HDFS
- 2020 年 10 月 27 日
- 筆記
HDFS（Hadoop Distributed File System）分佈式文件存儲系統，主要為各類分佈式計算框架如S …
Continue Reading