YARN线上动态资源调优
- 2022 年 4 月 21 日
- 筆記
背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的 …
Continue Reading
【Hadoop】HBase组件配置
- 2022 年 4 月 16 日
- 筆記
目录 HBase实验步骤： 1、配置时间同步（所有节点） 2、部署HBase（master节点） 3、配置HBase（m …
Continue Reading
坐实大数据资源调度框架之王，Yarn为何这么牛
- 2022 年 4 月 12 日
- 筆記
摘要：Yarn的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为大数据的代名词。 本文分享自 …
Continue ReadingHadoop安装部署
- 2022 年 4 月 11 日
- 筆記
Hadoop伪分布式搭建 1.准备Linux环境 ①开启网络,ifconfig指令查看ip ②修改主机名为自己名字(ha …
Continue Reading
都2022年了，HDFS为何还如此能战！
- 2022 年 4 月 11 日
- 筆記
摘要：HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。 本文分享自华为云社区《HDFS为何在大数据 …
Continue ReadingHadoop-Hive组件部署
- 2022 年 4 月 9 日
- 筆記
目录 一、基础环境 二、安装MySQL 1、传输需要的包到/opt目录下 2、卸载自带的MariaDB 3、解压mysq …
Continue Reading
Hadoop-集群运行
- 2022 年 4 月 4 日
- 筆記
目录 步骤一、NameNode 格式化 步骤二、启动 NameNode 步骤三、启动 SecondaryNameNode …
Continue Reading
Apache Ranger安装部署
- 2022 年 3 月 27 日
- 筆記
1.概述 Apache Ranger提供了一个集中式的安全管理框架，用户可以通过操作Ranger Admin页面来配置各 …
Continue Reading
HDFS机架感知
- 2022 年 3 月 26 日
- 筆記
Hadoop版本：2.9.2 什么是机架感知 通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点 …
Continue Reading
Hadoop2.x与Hadoop3.x副本选择机制
- 2022 年 3 月 26 日
- 筆記
HDFS 上的文件对应的 Block 保存多个副本，且提供容错机制，副本丢失或者宕机自动恢复，默认是存 3 个副本。 2 …
Continue Reading