HDFS 03 – 你能说说 HDFS 的写入和读取过程吗？
- 2021 年 3 月 1 日
- 笔记
目录 1 – HDFS 文件的写入 1.1 写入过程 1.2 写入异常时的处理 1.3 写入的一致性 2 & …
Continue Reading
HDFS 02 – HDFS 的机制：副本机制、机架感知机制、负载均衡机制
- 2021 年 2 月 20 日
- 笔记
目录 1 – HDFS 的副本机制 2 – HDFS 的机架感知机制 3 – HDF …
Continue Reading
HDFS 01 – HDFS是什么？它的适用场景有哪些？它的架构是什么？
- 2021 年 2 月 18 日
- 笔记
目录 1、HDFS 是什么 1.1 简单介绍 1.2 发展历史 2、HDFS 应用场景 2.1 适合的应用场景 2.2 …
Continue Reading
大数据系列4：Yarn以及MapReduce 2
- 2021 年 1 月 29 日
- 笔记
系列文章： 大数据系列：一文初识Hdfs 大数据系列2：Hdfs的读写操作 大数据谢列3：Hdfs的HA实现 通过前文， …
Continue Reading
大数据谢列3：Hdfs的HA实现
- 2021 年 1 月 27 日
- 笔记
在之前的文章：大数据系列：一文初识Hdfs ， 大数据系列2：Hdfs的读写操作 中Hdfs的组成、读写有简单的介绍。 …
Continue Reading
大数据系列2：Hdfs的读写操作
- 2021 年 1 月 26 日
- 笔记
在前文大数据系列1：一文初识Hdfs中，我们对Hdfs有了简单的认识。 在本文中，我们将会简单的介绍一下Hdfs文件的读 …
Continue Reading
大数据系列1：一文初识Hdfs
- 2021 年 1 月 25 日
- 笔记
最近有位同事经常问一些Hadoop的东西，特别是Hdfs的一些细节，有些记得不清楚，所以趁机整理一波。 会按下面的大纲进 …
Continue Reading
新来的运维这样用HDFS，CIO都懵了···
- 2021 年 1 月 12 日
- 笔记
摘要：本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。 HDFS（ …
Continue Reading
Hadoop支持的压缩格式对比和应用场景以及Hadoop native库
- 2020 年 12 月 31 日
- 笔记
对于文件的存储、传输、磁盘IO读取等操作在使用Hadoop生态圈的存储系统时是非常常见的，而文件的大小等直接影响了这些操 …
Continue Reading多个HDFS集群的fs.defaultFS配置一样，造成应用一直连接同一个集群的问题分析
- 2020 年 12 月 17 日
- 笔记
背景 应用需要对两个集群中的同一目录下的HDFS文件个数和文件总大小进行比对，在测试环境中发现，即使两边HDFS目录下的 …
Continue Reading