hadoop安裝(3)
zookeeper和hbase安裝 #--hbase是Hadoop的數據庫，依賴於zookeeper，默認的hbase自帶zookeeper #不是很好用，這裡我們自己安裝zookeeper 1.下載軟件 & 解壓軟件 zookeeper.apache.org hbase.apache.org $ tar -zxvf zookeeper-3.4.11.tar.gz -C /usr/local $ tar -zxvf hbase-1.3.1.tar.gz -C /usr/local 2.配置用戶環境變量 export ZK_HOME=/usr/local/zookeeper-3.4.11 export PATH=$PATH:$ZK_HOME/bin export HBASE_HOME=/usr/local/hbase-1.3.1 export PATH=$PATH:$HBASE_HOME/bin $ source ~/.bashrc 3.配置zookeeper(這裡是三個節點的zookeeper) 3.1在master節點配置 $ cp zoo_sample.cfg zoo.cfg #修改以下幾個地方 dataDir=/usr/local/zookeeper/data server.1=bigdata1:2888:3888 server.2=bigdata2:2888:3888 server.3=bigdata3:2888:3888 #修改日誌的目錄，日誌類型 $ vim log4j.properties zookeeper.root.logger=INFO, ROLLINGFILE log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender $ vim zkEnv.sh ZOO_LOG_DIR="/usr/local/zookeeper-3.4.11/logs" ZOO_LOG4J_PROP="INFO,ROLLINGFILE" #創建所需的目錄,三個節點都需要這麼創建 $ sudo mkdir /usr/local/zookeeper-3.4.11/logs/ $ sudo chown -R hadoop.hadoop /usr/local/zookeeper-3.4.11/logs $ sudo mkdir -p /usr/local/zookeeper/data $ sudo chown -R hadoop.hadoop /usr/local/zookeeper/ #創建節點myid文件，其它的節點需要改變，這裡的id對應着zoo.cfg里的id $ sudo echo "1" >/usr/local/zookeeper/data/myid #拷貝文件到另外的節點 $ sudo scp -r zookeeper-3.4.11/ bigdata2:/usr/local/ $ sudo scp -r zookeeper-3.4.11/ bigdata3:/usr/local/ $ sudo scp -r zookeeper bigdata2:/usr/local/ $ sudo scp -r zookeeper bigdata3:/usr/local/ #啟動 $ zkServer.sh #檢查 $ ps -ef|grep zoo 4.配置hbase $ vim hbase-site.xml <configuration> <property> <name>hbase.tmp.dir</name> <value>/usr/local/hbase/tmp</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://bigdata1:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookper.quorum</name> <value>bigdata1,bigdata2,bigdata3</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/zookeeper/</value> </property> </configuration> #配置slave節點 $ vim regionservers bigdata2 bigdata3 #配置java和zookeeper，false是不使用hbase自帶的zookeeper $ vim hbase-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_144/ export HBASE_MANAGES_ZK=false #默認的日誌位置就在logs下，但安裝包沒有創建，這裡我們手動創建下，每個節點都要創建 $ sudo mkdir /usr/local/hbase-1.3.1/logs $ sudo chown -R hadoop.hadoop /usr/local/hbase-1.3.1/logs/ 5.拷貝hbase文件到其它節點上 $ sudo scp -r hbase-1.3.1/ bigdata2:/usr/local/ $ sudo scp -r hbase-1.3.1/ bigdata3:/usr/local/ 6.啟動hbase $ start-hbase.sh 7.查看日誌輸出,一次情況根據日誌處理
