【Cloud Computing】Hadoop环境安装、基本命令及MapReduce字数统计程序
- 2021 年 11 月 28 日
- 笔记
【Cloud Computing】Hadoop环境安装、基本命令及MapReduce字数统计程序 1.虚拟机准备 1.1 …
Continue Reading八、hive3.1.2 安装及其配置（本地模式和远程模式）
- 2021 年 11 月 23 日
- 笔记
目录 前文 hive3.1.2 安装及其配置（本地模式和远程模式） 1、下载hive包 2、修改其环境变量 3、MySQ …
Continue Reading
CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)
- 2021 年 11 月 13 日
- 笔记
@ 目录 前言 预先设置 修改主机名 关闭防火墙 创建hadoop用户 SSH安装免密登陆 单机免密登陆——linux配 …
Continue Reading
HDFS 10 – HDFS 的联邦机制（Federation 机制）
- 2021 年 10 月 4 日
- 笔记
目录 1 – 为什么需要联邦 2 – Federation 架构设计 3 HDFS Federa …
Continue Reading
HDFS 09 – HDFS NameNode 的高可用机制
- 2021 年 8 月 22 日
- 笔记
目录 1 – 为什么要高可用 2 – NameNode 的高可用发展史 3 – HD …
Continue Reading
HDFS 07 – HDFS 性能调优之 合并小文件
- 2021 年 6 月 20 日
- 笔记
目录 1 – 为什么要合并小文件 2 – 合并本地的小文件，上传到 HDFS 3 – …
Continue Reading
HDFS 05 – HDFS 的元数据管理（FSImage、EditLog、Checkpoint）
- 2021 年 6 月 6 日
- 笔记
目录 1 – NameNode 的启动流程 2 – NameNode 的元数据 2.1 Edit …
Continue ReadingHadoop学习笔记—HDFS
- 2021 年 4 月 3 日
- 笔记
目录 搭建安装 三个核心组件 安装 配置环境变量 配置各上述三组件守护进程的相关属性 启停 监控和性能 Hadoop R …
Continue Reading
HDFS的上传流程以及windows-idea操作文件上传的注意
- 2021 年 3 月 14 日
- 笔记
HDFS的上传流程 命令：hdfs dfs -put xxx.wmv /hdfs的文件夹 cd进入到要上传文件的当前目录 …
Continue Reading关于HDFS存储元数据的NameNode持久化存储
- 2021 年 3 月 14 日
- 笔记
NameNode持久化场景引入： 问题：NameNode宕机，导致内存中的文件元数据丢失怎么办？我们知道元数据是存储来内 …
Continue Reading