Hadoop集群 增加節點/增加磁碟

• 2021 年 11 月 21 日
• 筆記

1. 在虛擬機中新建一個機器。

2. 設置靜態IP

3. 將修改/etc/hosts

   192.168.102.10 master
   192.168.102.11 slave-1
   192.168.102.12 slave-2
   192.168.102.13 slave-3
   192.168.102.14 slave-4
   

   在然後在其他節點hosts文件中增加

   192.168.102.14 slave-4
   

4. 修改hostname 命令hostnamectl set-hostname Slave-4
   通過hostname命令查看修改結果

5. 關閉防火牆

   systemctl stop firewalld.service      //停止firewall
   systemctl disable firewalld.service //禁止firewall開機啟動
   systemctl status firewalld.service //查看防火牆狀態
   

6. 節點免密碼登錄
   使用命令

   ssh-keygen -t rsa（一路回車）
   

   生成id_rsa（私鑰）、id_rsa.pub（公鑰）然後

   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   

   將Salve-4的公鑰拷貝到其他節點上，再將其他節點的公鑰拷貝到Salve-4上

   Salve-4節點上執行
   ssh-copy-id -i  Master
   ssh-copy-id -i  slave-1
   ssh-copy-id -i  slave-2
   ssh-copy-id -i  slave-3(這裡沒有執行，待把slave-3修復了再執行)
   

   在其他節點執行

   ssh-copy-id -i  slave-4
   

   再用ssh驗證相互之間的免密碼登陸

   ssh slave-4(master,等hostname)
   

7. 在/usr/local/hadoop2.7.2/etc/hadoop/slaves 中增加slave-4

8. 將其他一個節點的/etc/profile,/usr/local目錄下文件傳輸到slave-4中，目錄位置不變

   scp -r /etc/profile root@slave-4:/etc/
   scp -r /usr/local root@slave-4:/usr/
   

9. 修改系統默認JDK

   update-alternatives --install /usr/bin/java java /usr/local/jdk1.8/bin/java 300
   update-alternatives --install /usr/bin/java javac /usr/local/jdk1.8/bin/javac 300
   update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8/bin/jar 300
   update-alternatives --config java
   然後選擇
      4           /usr/local/jdk1.8/bin/java
   這一行
   

10. 在虛擬磁碟擴容,已經實現了虛擬機中的擴容(分區，創建文件系統，掛載)，這裡實現HDFS中識別出增加的容量
    刪除hdfs-site.xml中dfs.data.dir指定的文件

    <property>  
    <name>dfs.data.dir</name>  
    <value>/usr/local/data</value>  
    <description>datanode上數據塊的物理存儲位置</description>  
    </property>
    

    刪除core-site.xml中hadoop.tmp.dir指定的文件，刪除/usr/local/hadoop 放著各個節點ID會不一樣。

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    </property>
    
    

    格式化namenode

    hdfs namenode -format
    

    格式化完畢,原來的數據全部被清空了。產生了一個新的hdfs
    查看資訊

     hdfs dfsadmin -report
    

11.第10個步驟可能是多餘的沒必要
在增加磁碟的情況下，只需要在掛載完硬碟之後修改hdfs-site.xml文件即可。

<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/local/data,/newdisk/hadoop-data/</value>  
    <description>datanode上數據塊的物理存儲位置</description>