0720-5.10.0-如何在RedHat7.2使用rpm安裝CDH(有CM)
- 2019 年 10 月 31 日
- 筆記
文檔編寫目的
在上一篇文檔《5.10.0-如何在RedHat7.2使用rpm安裝CDH(無CM)》中介紹了如何在沒有CM的情況下使用rpm的方式安裝CDH集群，本文檔將介紹如何使用CM以rpm的方式安裝CDH集群。
環境介紹：
· 安裝部署使用root用戶進行操作
· 安裝的CDH和CM版本為5.10.0
· OS為RedHat7.2
· CDH集群的三個節點信息如下：
安裝前置準備
2.1 服務相關設置
安裝CDH集群時需要做一些前置的準備，本次安裝使用的環境已經做好前置準備，需要做的準備如下：
1.hosts以及hostname配置正確
2.服務器沒有啟用IPv6且配置了靜態IP
3.禁用SELinux
4.關閉防火牆
5.設置swappiness為1
6.關閉透明大頁面
7.配置NTP時鐘同步
8.安裝元數據庫MySQL並創建好需要的數據庫和用戶
2.2 配置本地yum源
在官網下載好安裝CDH集群需要的rpm包，地址如下：
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.10.0/RPMS/
將上面所有的rpm包下載到服務器，如下：
在瀏覽器進行驗證
2.執行createrepo命令
createrepo .
3.創建repo文件
創建cdh的repo
[rpmrepo] name = rpm_repo baseurl = http://192.168.0.178/cdh_rpm/ enable = true gpgcheck = false
創建cm的repo
[cm5.10.0] name=cm_repo baseurl=http://192.168.0.178/cm5.10.0/ enabled=1 gpgcheck=0
4.執行yum命令，查看本地yum源是否配置成功
yum clean all yum repolist
安裝Cloudera Manager
1.yum安裝Cloudera Manager Server
yum -y install cloudera-manager-server
2.初始化數據庫
/usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm password
3.啟動Cloudera Manager Server
systemctl start cloudera-scm-server systemctl status cloudera-scm-server
4.訪問CM
安裝CDH
1.登陸CM，admin/admin
2.同意許可
3.選擇試用版
4.CDH版本信息
5.指定要安裝的主機
6.選擇存儲庫
CDH選擇數據包的方式
指定CM的自定義存儲庫
7.JDK的安裝
8.單用戶模式，這裡不選擇
9.輸入主機密碼
10.集群安裝需要的包
11.檢測CDH版本
12.檢查主機正確性
13.選擇服務
14.為服務分配角色
15.設置數據庫
16.集群設置
17.首次運行集群
18.集群安裝完成
19.CM主頁如下圖
CDH組件測試
1.HDFS
[root@cdh178 ~]# sudo -u hdfs hdfs dfs -mkdir /user/root [root@cdh178 ~]# sudo -u hdfs hdfs dfs -chown root:root /user/root [root@cdh178 ~]# hadoop fs -put data.txt /user/root [root@cdh178 ~]# hadoop fs -cat /user/root/data.txt
2.Hive
建表
插入數據
查詢
3.Impala
4.MapReduce
總結
1.使用rpm方式安裝時要注意，除了cm的yum源之外，還需要下載好cdh的包，然後配置CDH本地的yum源，在安裝時選擇使用包的方式安裝，然後指定自定義的存儲庫。
2.對比parcel安裝的方式，還是和官方建議一樣，使用parcel安裝的方式更為方便並且更為可靠。
