在Centos7下搭建大數據環境,即Zookeeper+Hadoop+HBase
- 2020 年 4 月 5 日
- 筆記
1. 所需軟件下載鏈接(建議直接複製鏈接到迅雷下載更快):
①hadoop-2.7.6.tar.gz:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
②zookeeper-3.4.12.tar.gz:
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
③hbase-1.2.6-bin.tar.gz:
wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz
註:hadoop與hbase版本有對應性,具體可參考apache官網:http://hbase.apache.org/book.html#quickstart,在頁面上頁面搜索:Hadoop version support matrix
④jdk-8u171-linux-x64.tar.gz:
鏈接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg
提取碼:ky0x
2. 安裝教程
①安裝hadoop參考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
②安裝zookeeper參考教程:https://www.cnblogs.com/frankdeng/p/9018177.html
③安裝hbase參考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
3. 注意事項
3.1 在參考hadoop安裝教程時:
①首先要先卸載Centos本身自帶的openjdk,參考這位博主的卸載教程:
https://www.cnblogs.com/happyflyingpig/p/8068020.html
(不卸載應該也可以吧,您可以試一下先不卸載,裝好jdk,再改好/etc/profile中的JAVA_HOME重新編譯生效後,輸入java -version試試版本對了沒。)
②步驟1.4:如果是以root用戶安裝環境時,即當前目錄為~時:應當直接
cd /opt
/opt是根目錄下的opt,並在該目錄下創建相應module、software文件夾,而不是先mkdir opt,再cd opt(這是root用戶下的opt),如果您已經先mkdir opt了的話,JAVA_HOME應該為:/root/opt/module/jdk1.8,而不是/opt/module/jdk1.8
總結:
cd /opt:根目錄下的opt cd opt:當前登錄用戶下的opt
③步驟2:向其他節點複製jdk時,改用該命令更好:
scp -r /opt/module/jdk1.8 root@node22:/opt/module
3.2 在參考教程時:
一定要盡量都下載我上面提供的版本,因為我試過好幾個hadoop、hbase、jdk的版本,存在好多不兼容情況,比如:我之前使用的jdk1.8_202版本,在我搭建完這些環境後,總有一些問題如java.net.connect ion拒絕連接什麼的,後面我換成了jdk1.8_171就好了。
4. 最後
上述搭建大數據環境的三個教程為同一個博主@Frankdeng編寫,更具統一性,安裝起來更有參考性(其實是複製粘貼起來更方便hhh),非常感謝參考教程的博主!
上述主要參考教程的博主地址:https://www.cnblogs.com/frankdeng/