Hadoop-全分布式配置
- 2022 年 3 月 26 日
- 筆記
目录 一、配置基础环境 1、配置网络信息 2、配置主机名 3、主机名与IP的映射关系 4、测试互通性 二、关闭防火墙和S …
Continue Reading
解决Hadoop集群hdfs无法启动DataNode的问题
- 2022 年 3 月 25 日
- 筆記
问题描述： 在hadoop启动hdfs的之后，使用jps命令查看运行情况时发现hdfs的DataNode并没有打开。 笔 …
Continue Reading
大数据教程-01HDFS的基本组成和原理
- 2022 年 3 月 18 日
- 筆記
一 Hadoop历史背景 起源于2003年谷歌的Google File System相关论文，随后Doug Cuttin …
Continue Reading
Hadoop原生对象存储Ozone
- 2022 年 3 月 11 日
- 筆記
Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解 …
Continue ReadingHDFS成员的工作机制
- 2022 年 3 月 4 日
- 筆記
NameNode工作机制 nn负责管理块的元数据信息，元数据信息为fsimage和edits预写日志，通过edits预写 …
Continue ReadingHDFS免重启挂载新磁盘
- 2022 年 2 月 25 日
- 筆記
背景 在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘 …
Continue Reading
HDFS源码解析系列一——HDFS通信协议
- 2022 年 2 月 16 日
- 筆記
通信架构 首先，看下hdfs的交互图： 可以看到通信方面是有几个角色的：客户端（client)、NameNode、Sec …
Continue Reading
sqoop如何指定pg库的模式
- 2022 年 1 月 22 日
- 筆記
摘要：sqoop如何指定pg库的模式？ 本文分享自华为云社区《【Hadoop】关于Sqoop导出数据到postgresq …
Continue Reading
解析HetuEngine实现On Yarn原理
- 2022 年 1 月 12 日
- 筆記
摘要：本文介绍HetuEngine实现On Yarn的原理，通过阅读本文，读者可以了解HetuEngine如何在资源使用 …
Continue Reading
VSCode+Maven+Hadoop开发环境搭建
- 2021 年 12 月 8 日
- 筆記
在Maven插件的帮助下，VSCode写Java其实非常方便。这一讲我们介绍如何借助maven用VScode搭建Hado …
Continue Reading