環境篇：CM+CDH6.3.2環境搭建(全網最全)

• 2020 年 6 月 9 日
• 筆記
• ③環境篇, cdh, cdh6.3.2, cdh6.3.2搭建

環境篇：CM+CDH6.3.2環境搭建(全網最全)

一 環境準備

1.1 三台虛擬機準備

Master( 32g內存 + 100g硬盤 + 4cpu + 每個cpu2核)

2台Slave( 12g內存 + 100g硬盤 + 4cpu + 每個cpu1核)

• 參考地址：

//www.cnblogs.com/ttzzyy/p/12566281.html

1、準備的機器只要網絡IP不衝突通並且可以正常訪問網絡即可，如機器資源不夠，可自行分配所需要的資源，或者使用雲服務

2、關閉防火牆，雲服務還需要開啟對應的IP端口

3、機器hostname修改，配置hosts，並配置SHH免密

4、時間同步

注意：如果拿不穩可以做快照的做快照，這樣恢復起來容易。

1.2 常用yum源更新，gcc，G++，C++等環境（可以跳過）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql* portmap mod_ssl openssl openssl-devel python-psycopg2 MySQL-python python-devel telnet pcre-devel gcc gcc-c++

1.3 配置本地yum雲

注意此處只需要在主節點機器上執行

1.3.1 更新yum源httpd

#更新yum源httpd
yum -y install httpd
#查看httpd狀態
systemctl status httpd.service
#啟動httpd
service httpd start
#配置httpd永久生效（重啟生效）
chkconfig httpd on

1.3.2 更新yum源yum-utils

#更新yum源yum-utils createrepo
yum -y install yum-utils createrepo
#進入yum源路徑
cd /var/www/html/
#創建cm文件夾
mkdir cm

1.3.3 將下載好的資源添加進本地yum雲

在「2.1CM下載」中，下載需要的文件，後面要放在本地yum雲中，提供訪問

在添加完需要資源後，使用工具和本地的yum源創建聯繫，其中repodata是yum聯繫創建的

createrepo /var/www/html/cm/

1.3.4 創建本地repo文件

vim /etc/yum.repos.d/cloudera-manager.repo

---->添加如下內容(注意IP改成本地yum主機IP，只能是ip)
[cloudera-manager]
name=Cloudera Manager, Version yum
baseurl=//192.168.37.10/cm
gpgcheck=0
enabled=1
----<

• 更新yum源

yum clean all
yum makecache

• 驗證

yum list | grep cloudera-manager

1.3.5 將本地yum文件分發至從節點

scp -r /etc/yum.repos.d/cloudera-manager.repo [email protected]:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cloudera-manager.repo [email protected]:/etc/yum.repos.d/

1.4 安裝JDK(所有節點)

#查看命令
rpm -qa | grep java
#刪除命令(刪除所有openjdk)
rpm -e --nodeps xxx

• 將oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上傳至每個節點安裝

rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

• 修改配置文件

vim /etc/profile
--->添加
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
---<

• 刷新源

source /etc/profile

• 檢驗

java
javac

1.5 安裝mysql

用於管理CM數據，故安裝在主節點即可

1. 此處先把mysql-connector-java-5.1.47.jar傳到每台服務器的/usr/share/java（如果目錄不存在需要先創建）目錄下，並更名為mysql-connector-java.jar，如果不更名後面會報錯
2. 把mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz解壓到/usr/local目錄下並改名為mysql，然後執行如下命令

#創建歸檔，數據，臨時文件夾
mkdir /usr/local/mysql/arch /usr/local/mysql/data /usr/local/mysql/tmp
#創建用戶，賦予權限
useradd mysql
chown -R mysql.mysql /usr/local/mysql
#更新yum
yum -y install perl perl-devel

3. 修改vi /etc/my.cnf

刪除原有配置，增加如下配置

[client]
port=3306
socket=/usr/local/mysql/data/mysql.sock
default-character-set=utf8mb4

[mysqld]
port=3306
socket=/usr/local/mysql/data/mysql.sock

skip-slave-start

skip-external-locking
key_buffer_size=256M
sort_buffer_size=2M
read_buffer_size=2M
read_rnd_buffer_size=4M
query_cache_size=32M
max_allowed_packet=16M
myisam_sort_buffer_size=128M
tmp_table_size=32M

table_open_cache=512
thread_cache_size=8
wait_timeout=86400
interactive_timeout=86400
max_connections=600

# Try number of CPU's*2 for thread_concurrency
#thread_concurrency=32 

#isolation level and default engine 
default-storage-engine=INNODB
transaction-isolation=READ-COMMITTED

server-id=1739
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
pid-file=/usr/local/mysql/data/hostname.pid

#open performance schema
log-warnings
sysdate-is-now

binlog_format=ROW
log_bin_trust_function_creators=1
log-error=/usr/local/mysql/data/hostname.err
log-bin=/usr/local/mysql/arch/mysql-bin
expire_logs_days=7

innodb_write_io_threads=16

relay-log=/usr/local/mysql/relay_log/relay-log
relay-log-index=/usr/local/mysql/relay_log/relay-log.index
relay_log_info_file=/usr/local/mysql/relay_log/relay-log.info

log_slave_updates=1
gtid_mode=OFF
enforce_gtid_consistency=OFF

# slave
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=4
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON

#other logs
#general_log=1
#general_log_file=/usr/local/mysql/data/general_log.err
#slow_query_log=1
#slow_query_log_file=/usr/local/mysql/data/slow_log.err

#for replication slave
sync_binlog=500


#for innodb options 
innodb_data_home_dir=/usr/local/mysql/data/
innodb_data_file_path=ibdata1:1G;ibdata2:1G:autoextend

innodb_log_group_home_dir=/usr/local/mysql/arch
innodb_log_files_in_group=4
innodb_log_file_size=1G
innodb_log_buffer_size=200M

#根據生產需要，調整pool size 
innodb_buffer_pool_size=2G
#innodb_additional_mem_pool_size=50M #deprecated in 5.6
tmpdir=/usr/local/mysql/tmp

innodb_lock_wait_timeout=1000
#innodb_thread_concurrency=0
innodb_flush_log_at_trx_commit=2

innodb_locks_unsafe_for_binlog=1

#innodb io features: add for mysql5.5.8
performance_schema
innodb_read_io_threads=4
innodb-write-io-threads=4
innodb-io-capacity=200
#purge threads change default(0) to 1 for purge
innodb_purge_threads=1
innodb_use_native_aio=on

#case-sensitive file names and separate tablespace
innodb_file_per_table=1
lower_case_table_names=1

[mysqldump]
quick
max_allowed_packet=128M

[mysql]
no-auto-rehash
default-character-set=utf8mb4

[mysqlhotcopy]
interactive-timeout

[myisamchk]
key_buffer_size=256M
sort_buffer_size=256M
read_buffer=2M
write_buffer=2M

4. 配置服務及開機自啟動

cd /usr/local/mysql
#將服務文件拷貝到init.d下，並重命名為mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysql 
#賦予可執行權限
chmod +x /etc/rc.d/init.d/mysql
#刪除服務
chkconfig --del mysql
#添加服務
chkconfig --add mysql
chkconfig --level 345 mysql on
#添加快捷方式
ln -s /usr/local/mysql/bin/mysql /usr/bin/
#檢查服務
 chkconfig --list | grep mysql

5. 安裝mysql的初始db

#輸入如下命令等待
/usr/local/mysql/bin/mysqld \
--defaults-file=/etc/my.cnf \
--user=mysql \
--basedir=/usr/local/mysql/ \
--datadir=/usr/local/mysql/data/ \
--initialize

在初始化時如果加上 –initial-insecure，則會創建空密碼的 root@localhost 賬號，否則會創建帶密碼的 root@localhost 賬號，密碼直接寫在 log-error 日誌文件中
（在5.6版本中是放在 ~/.mysql_secret 文件里，更加隱蔽，不熟悉的話可能會無所適從）

6. 啟動

#下面命令執行完記得敲回車
/usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &
#啟動mysql(如果上面命令沒有啟動mysql)，停止為service mysql stop
#service mysql start
#查看mysql狀態
service mysql status

7. 查看臨時密碼

cat /usr/local/mysql/data/hostname.err |grep password

8. 登錄及修改用戶密碼

mysql -u root -p
#輸入剛剛日誌中的密碼進入
#設置密碼為：root
set password for 'root'@'localhost'=password('root');
#配置遠程可以訪問
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
use mysql
delete from user where host!='%';
#刷新
flush privileges;
#退出
quit

9. 登錄創建cm需要的庫的用戶

#進入mysql(輸入修改後的密碼)
mysql -u root -p
#scm庫和權限暫時不創建，後面指定數據庫，會自動創建
#CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
#####注意此處再授權一個本主機名地址，不然web頁面配置很容易出錯，注意修改本地主機名hostname
GRANT ALL ON amon.* TO 'amon'@'本主機名' IDENTIFIED BY 'amon';
#刷新源
FLUSH PRIVILEGES;
#檢查權限是否正確
show grants for 'amon'@'%';  
show grants for 'rman'@'%';  
show grants for 'hive'@'%';
show grants for 'hue'@'%';
show grants for 'oozie'@'%';

#退出
quit

#重啟服務
service mysql restart

二 CM+CDH安裝

2.1 CM下載

下載地址：//archive.cloudera.com/cm6/6.3.1/

紅框中都需要下載

2.2 通過yum安裝daemons,agent,server

主節點

yum list | grep cloudera-manager
yum -y  install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

從節點

yum list | grep cloudera-manager
yum -y  install cloudera-manager-daemons cloudera-manager-agent

注意從節點不能查到，可能由防火牆引起，確認關閉

2.3 上傳cloudera-manager-installer.bin到主節點,賦予權限

mkdir /usr/software
cd /usr/software
chmod +x cloudera-manager-installer.bin 

2.4 CDH下載

下載地址://archive.cloudera.com/cdh6/6.3.2/parcels/

紅框中都需要下載

2.5 配置本地Parcel存儲庫

• 將CDH下載的文件，上傳到指定文件夾(主節點)

cd /opt/cloudera/parcel-repo/

• 校驗文件是否下載完全

sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

2.6 執行安裝

cd /usr/software
./cloudera-manager-installer.bin 

rm -f /etc/cloudera-scm-server/db.properties
#再次執行腳本(一路yes)
./cloudera-manager-installer.bin 

此處便安裝完成，可以登錄主機IP+7180端口登錄web頁面，用戶名密碼admin/admin，但是此處暫時不要急於登錄網頁並配置參數，先改掉數據庫連接方式重啟cloudera-scm-server後再進行配置，操作如下：

• 1） 執行腳本scm_prepare_database.sh

#設置Cloudera Manager 數據庫
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -uroot -p'root' scm scm scm

#進如mysql(這裡是上面改的密碼root)
mysql -uroot -proot
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
FLUSH PRIVILEGES;
show grants for 'scm'@'%';
quit

• 2） 停止ClouderaManager服務

service cloudera-scm-server stop
service cloudera-scm-server-db stop

• 3） 刪除內嵌的默認數據庫PostgreSQL的配置

rm -f /etc/cloudera-scm-server/db.mgmt.properties

• 4） 啟動ClouderaManager服務

service cloudera-scm-server start

• 5. 如果有問題查看日誌

vim /var/log/cloudera-scm-server/cloudera-scm-server.log

2.7 CM->CDH安裝（賬號：admin,密碼：admin）

處理相關警告：所有機器都要修改

• 問題一

#臨時
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf

• 問題二

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改啟動腳本
vim /etc/rc.local
--->添加
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
---<

重新運行檢查

2.8 第一次組件安裝

選擇組件，為了簡單安全有效，選擇HDFS，YARN，ZOOKEEPER

這裡可以將SecondaryNameNode和NameNode放在不同的機器，可以在NameNode異常時竟可能的確保數據正確性

下圖為基本配置，不需要管，下一步

安裝完成

2.9 問題處理

2.9.1 Clock Offset及 Network Interface Speed

2.9.2 HDFS Canary

直接抑制

2.9.3 Java Heap Size of NameNode in Bytes

堆大小，使用默認值4G即可

類似警告還有：

Java Heap Size of Host Monitor in Bytes

Maximum Non-Java Memory of Host Monitor

Java Heap Size of Service Monitor in Bytes

Maximum Non-Java Memory of Service Monitor

2.9.4 Memory Overcommit Validation Threshold

內存被調撥過度，所有服務安裝完後，總的分配內存是 22.7G ，總內存是 23.4G

內存調撥為22.7/23.4=0.97>默認值0.8，改成1.0就OK了。

2.9.5 NameNode and SecondaryNameNode have different heapsizes

NameNode和SecondaryNameNode具有不同的堆大小

• 搜索 Java Heap Size

2.9.6 Erasure Coding Policy Verification Test

擦除編碼策略驗證測試：直接抑制

2.9.7 文件系統檢查點

不良 : 文件系統檢查點已有 20 小時，40 分鐘。占配置檢查點期限 1 小時的 2,068.25%。 臨界閾值：400.00%。 自上個文件系統檢查點以來已發生 255 個事務。這是 1,000,000 的已配置檢查點事務目標的 0.03%。

解決方法：
1、namenode的Cluster ID 與 secondnamenode的Cluster ID 不一致，對比/dfs/nn/current/VERSION 和/dfs/snn/current/VERSION中的Cluster ID 來確認，如果不一致改成一致後重啟節點應該可以解決。

2、修改之後還出現這個狀況，查看secondnamenode 日誌，報
ERROR： Exception in doCheckpoint java.io.IOException: Inconsistent checkpoint field
這個錯誤，直接刪除 /dfs/snn/current/下所有文件，重啟snn節點

2.10 正常狀態

可以使用添加服務來添加需要的組件

三 安裝Kafka

基礎配置走起

四 安裝Flume

五 安裝Hbase

基礎配置走起

六 安裝Spark

默認配置走起

七 安裝hive

基礎配置走起

• 解決中文亂碼

#進入mysql(輸入修改後的密碼)
mysql -u root -p
#進入hive元數據庫    
use metastore
#hive中文亂碼解決
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;
#刷新
flush privileges;
#退出
quit

八 安裝Oozie

默認配置走起

九 安裝Sqoop

十 安裝Impala

十一 安裝hue

• hue常用連接器配置

//docs.gethue.com/administrator/configuration/connectors/

Hue通過本機或SqlAlchemy連接器連接到任何數據庫或倉庫。完成HUE-8758之後，可以通過UI配置連接，直到此之前需要將它們添加到Hue hue_safety_valve.ini文件中。

十二 cdh 6.3.2引用maven

官方文檔：//docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_maven_artifacts.html#concept_t43_r3z_rjb

• pom.xml

<project xmlns="//maven.apache.org/POM/4.0.0" xmlns:xsi="//www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="//maven.apache.org/POM/4.0.0 //maven.apache.org/maven-v4_0_0.xsd">
  <repositories>
    <repository>
      <id>cloudera</id>
      <url>//repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>
</project>