0525-6.1-如何使用Cloudera Manager禁用HDFS的HA

2019 年 11 月 28 日
筆記

溫馨提示：如果使用電腦查看圖片不清晰，可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

Fayson的github： https://github.com/fayson/cdhproject

提示：程式碼塊部分可以左右滑動查看噢

文檔編寫目的

前面Fayson寫過《0524-6.1-如何使用Cloudera Manager啟用HDFS的HA》。本篇文章主要講述如何使用Cloudera Manager禁用HDFS HA。

內容概述

1.禁用HDFS HA

2.更新Hive Metastore NameNode

3.HDFS功能可用性測試

4.Hive及Impala測試

測試環境

1.CM和CDH版本為6.1

2.Redhat7.4

3.擁有Cloudera Manager的管理員帳號

4.CDH集群已啟用HDFS HA並正常使用

5.集群已啟用Kerberos

禁用HDFS HA

1.使用管理員用戶登錄Cloudera Manager的Web管理介面，進入HDFS服務

2.點擊「禁用High Avaiability」，選擇禁用HA後運行NameNode的主機及SecondNameNode主機

3.點擊「繼續」，設置HDFS的檢查點目錄，默認繼承SecondNameNode Default Group

4.點擊「繼續」，禁用High Availability

禁用成功

5.點擊「完成」，查看HDFS的實例

通過實例列表可以看到HDFS HA相關的服務已被刪除，只剩下NameNode和SecondNameNode服務，至此已完成HDFS HA禁用，接下來更新Hive Metastore NameNode及簡單的功能測試。

更新Hive Metastore NameNode

1.停止Hive服務

2.進入Hive服務，點擊「操作」

3.點擊「更新Hive Metastore NameNode」

4.更新Hive Metastore NameNode

5.啟動Hive服務

啟動成功

Hive服務啟動成功，至此就完成了Hive Metastore NameNode數據更新。

HDFS功能可用性測試

對HDFS進行mkdir、put、get、rmr等操作，驗證HDFS服務功能是否可用。

[root@ip-172-31-6-83 generatedata]# hadoop fs -mkdir /tmp/test  [root@ip-172-31-6-83 generatedata]# hadoop fs -put 100m.csv /tmp/test  [root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test  Found 1 items  -rw-r--r--   3 fayson supergroup  104094922 2019-01-24 22:29 /tmp/test/100m.csv  [root@ip-172-31-6-83 generatedata]# rm -rf 100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -get /tmp/test/100m.csv .  [root@ip-172-31-6-83 generatedata]# ll 100m.csv  -rw-r--r-- 1 root root 104094922 Jan 24 22:29 100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -rm -r /tmp/test/100m.csv  19/01/24 22:30:01 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/tmp/test/100m.csv' to trash at: hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/fayson/.Trash/Current/tmp/test/100m.csv  [root@ip-172-31-6-83 generatedata]# hadoop fs -ls /tmp/test/