0525-6.1-如何使用Cloudera Manager禁用HDFS的HA

2019 年 11 月 28 日
筆記

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github： https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

文档编写目的

前面Fayson写过《0524-6.1-如何使用Cloudera Manager启用HDFS的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用HDFS HA。

内容概述

1.禁用HDFS HA

2.更新Hive Metastore NameNode

3.HDFS功能可用性测试

4.Hive及Impala测试

测试环境

1.CM和CDH版本为6.1

2.Redhat7.4

3.拥有Cloudera Manager的管理员账号

4.CDH集群已启用HDFS HA并正常使用

5.集群已启用Kerberos

禁用HDFS HA

1.使用管理员用户登录Cloudera Manager的Web管理界面，进入HDFS服务

2.点击“禁用High Avaiability”，选择禁用HA后运行NameNode的主机及SecondNameNode主机

3.点击“继续”，设置HDFS的检查点目录，默认继承SecondNameNode Default Group

4.点击“继续”，禁用High Availability

禁用成功

5.点击“完成” ，查看HDFS的实例

通过实例列表可以看到HDFS HA相关的服务已被删除，只剩下NameNode和SecondNameNode服务，至此已完成HDFS HA禁用，接下来更新Hive Metastore NameNode及简单的功能测试。

更新Hive Metastore NameNode

1.停止Hive服务

2.进入Hive服务，点击“操作”

3.点击“更新Hive Metastore NameNode”

4.更新Hive Metastore NameNode

5.启动Hive服务

启动成功

Hive服务启动成功，至此就完成了Hive Metastore NameNode数据更新。

HDFS功能可用性测试

对HDFS进行mkdir、put、get、rmr等操作，验证HDFS服务功能是否可用。

[root@ip-172-31-6-83 generatedata]# hadoop fs -mkdir /tmp/test  [root@ip-172-31-6-83 generatedata]# hadoop fs -put 100m.csv /tmp/test  [root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test  Found 1 items  -rw-r--r--   3 fayson supergroup  104094922 2019-01-24 22:29 /tmp/test/100m.csv  [root@ip-172-31-6-83 generatedata]# rm -rf 100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -get /tmp/test/100m.csv .  [root@ip-172-31-6-83 generatedata]# ll 100m.csv  -rw-r--r-- 1 root root 104094922 Jan 24 22:29 100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -rm -r /tmp/test/100m.csv  19/01/24 22:30:01 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/tmp/test/100m.csv' to trash at: hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/fayson/.Trash/Current/tmp/test/100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test/