Hadoop框架:NameNode工作機制詳解
本文源碼:GitHub·點這裡 || GitEE·點這裡
一、存儲機制
1、基礎描述
NameNode運行時元數據需要存放在記憶體中,同時在磁碟中備份元數據的fsImage,當元數據有更新或者添加元數據時,修改記憶體中的元數據會把操作記錄追加到edits日誌文件中,這裡不包括查詢操作。如果NameNode節點發生故障,可以通過FsImage和Edits的合併,重新把元數據載入到記憶體中,此時SecondaryNameNode專門用於fsImage和edits的合併。
2、工作流程
NameNode機制
- NameNode格式化啟動之後,首次會創建Fsimage和Edits文件;
- 非首次啟動直接載入FsImage鏡像文件和Edits日誌到記憶體中;
- 客戶端對元數據執行增刪改操作會記錄到Edits文件;
- 然後請求的相關操作會修改記憶體中的元數據;
SecondaryNameNode機制
- 詢問NameNode是否需要CheckPoint,NameNode返回資訊;
- 如果需要SecondaryNameNode請求執行CheckPoint;
- NameNode切割現有日誌文件,新記錄滾動寫入新Edits文件;
- 滾動前的編輯日誌和鏡像文件拷貝到SecondaryNameNode;
- SecondaryNameNode載入Edits日誌和FsImage鏡像文件到記憶體合併;
- 生成新的鏡像文件fsimage.chkpoint後拷貝到NameNode;
- NameNode將fsimage.chkpoint重新命名成fsimage;
3、CheckPoint設置
通過修改hdfs-default.xml文件的相關配置,設置一些SecondaryNameNode的機制,例如每隔一小時執行一次。
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>3600</value>
</property>
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>文件滿1000000記錄數</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
<description> 1分鐘檢查一次文件記錄數</description>
</property >
二、文件資訊
1、FsImage文件
NameNode記憶體中元數據序列化備份資訊;
生成路徑:基於NameNode節點
cd /opt/hadoop2.7/data/tmp/dfs/name/current/
查看文件
# 基本語法
hdfs oiv -p 轉換文件類型 -i 鏡像文件 -o 轉換後文件輸出路徑
基於語法格式,操作上圖中的文件:
# 轉換文件
hdfs oiv -p XML -i fsimage_0000000000000000019 -o /data/fsimage.xml
# 查看
cat /data/fsimage.xml
這樣就可以看到一些元數據的資訊。
2、Edits文件
存放HDFS文件的所有增刪改操作的路徑,會記錄在Edits文件中。
基本語法
hdfs oev -p 轉換文件類型 -i 日誌文件 -o 轉換後文件輸出路徑
查看文件
# 轉換文件
hdfs oev -p XML -i edits_0000000000000000020-0000000000000000020 -o /data/edits.xml
# 查看
cat /data/edits.xml
三、故障恢復
1、拷貝SecondaryNameNode數據
首先結束NameNode進程;
刪除NameNode存儲的數據;
[root@hop01 /] rm -rf /opt/hadoop2.7/data/tmp/dfs/name/*
拷貝SecondaryNameNode中數據到NameNode數據存儲目錄下;
# 注意SecondaryNameNode服務配置在hop03上
[root@hop01 /] scp -r root@hop03:/opt/hadoop2.7/data/tmp/dfs/namesecondary/* /opt/hadoop2.7/data/tmp/dfs/name/
重新啟動NameNode進程;
2、基於Checkpoint機制
修改hdfs-site.xml配置,同步到集群相關服務下,重啟HDFS進程;
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>120</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop2.7/data/tmp/dfs/name</value>
</property>
結束NameNode進程;
刪除NameNode存儲的數據;
[root@hop01 /] rm -rf /opt/hadoop2.7/data/tmp/dfs/name/*
由於集群中SecondaryNameNode(在hop03)不和NameNode(在hop01)在一個主機節點上,需要將SecondaryNameNode存儲數據的目錄拷貝到NameNode存儲數據的平級目錄,並刪除in_use.lock文件;
[root@hop01 /]scp -r root@hop03:/opt/hadoop2.7/data/tmp/dfs/namesecondary /opt/hadoop2.7/data/tmp/dfs/
[root@hop01 namesecondary/] rm -rf in_use.lock
[root@hop01 dfs]$ ls
data name namesecondary
導入檢查點數據
[root@hop01 hadoop2.7] bin/hdfs namenode -importCheckpoint
重新啟動NameNode
[root@hop01 hadoop2.7] sbin/hadoop-daemon.sh start namenode
四、多個目錄配置
NameNode可以配置多本地目錄,每個目錄存放內容相同,增加運行的可靠性;
1、添加配置
# vim /opt/hadoop2.7/etc/hadoop/hdfs-site.xml
# 添加內容如下
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name01,file:///${hadoop.tmp.dir}/dfs/name02</value>
</property>
該配置需要同步集群下所有服務;
2、刪除原有數據
集群下所有服務都需要執行該操作;
[root@hop01 hadoop2.7]# rm -rf data/ logs/
格式化NameNode之後重啟集群服務。
五、安全模式
1、基本描述
NameNode剛啟動時,會基於鏡像文件和編輯日誌在記憶體中載入文件系統元數據的映像,然後開始監聽DataNode請求,該過程期間處於一個只讀的安全模式下,客戶端無法上傳文件,在該安全模式下DataNode會發送最新的數據塊列表資訊到NameNode,如果滿足最小副本條件,NameNode在指定時間後就會退出安全模式。
2、安全模式
- 安全模式狀態
/opt/hadoop2.7/bin/hdfs dfsadmin -safemode get
- 進入安全模式
/opt/hadoop2.7/bin/hdfs dfsadmin -safemode enter
- 退出安全模式
/opt/hadoop2.7/bin/hdfs dfsadmin -safemode leave
- 等待安全模式
/opt/hadoop2.7/bin/hdfs dfsadmin -safemode wait
六、源程式碼地址
GitHub·地址
//github.com/cicadasmile/big-data-parent
GitEE·地址
//gitee.com/cicadasmile/big-data-parent
推薦閱讀:編程體系整理
序號 | 項目名稱 | GitHub地址 | GitEE地址 | 推薦指數 |
---|---|---|---|---|
01 | Java描述設計模式,演算法,數據結構 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆☆ |
02 | Java基礎、並發、面向對象、Web開發 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆ |
03 | SpringCloud微服務基礎組件案例詳解 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆ |
04 | SpringCloud微服務架構實戰綜合案例 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆☆ |
05 | SpringBoot框架基礎應用入門到進階 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆ |
06 | SpringBoot框架整合開發常用中間件 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆☆ |
07 | 數據管理、分散式、架構設計基礎案例 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆☆ |
08 | 大數據系列、存儲、組件、計算等框架 | GitHub·點這裡 | GitEE·點這裡 | ☆☆☆☆☆ |