一、HDFS 原理分析

• 2020 年 5 月 18 日
• 筆記
• 大數據之hadoop

HDFS 全稱 Hadoop Distribute File System，是 Hadoop 的一個分散式文件系統

一、HDFS 的系統結構

1.1 數據塊 —— block

• 文件在 HDFS 上分塊存儲。
• 一個文件分多少塊，是按照你設置的存儲單位大小算的。
• 設置存儲單位時，不能太大，也不能太小。
• 太大：處理數據時，需要教高的配置。
• 太小：數據塊的映射資訊是存在 NameNode 的記憶體中（一個快佔用 150 位元組），記憶體也是受限的，如果塊太小，會佔用較多 namenode 的存儲空間。
  80M 文件，1M一個塊，就會分成80塊數據。佔用 NameNode 記憶體 80 * 150 位元組
  80M 文件，64M一個塊，分2塊一塊：64M，一塊：16M（如果小於塊大小，就按照實際存儲）。佔用 NameNode 記憶體 2 * 150 位元組

總結如下：

1. 數據塊是 HDFS 中基本的數據存儲單位，一般大小為64M/128M/256M，一個大文件根據數據塊的大小，將文件分為若干個塊。
2. NameNode 存儲的文件對應的 block 映射資訊；而 datanode 存儲塊資訊對應的數據。
3. 塊越小讀取的速度就越快，但是整體佔用 NameNode 的空間就越大，因為不管塊大小一個塊所佔用的 NameNode 記憶體存儲空間為一般為150位元組。
4. 一個大文件會被拆分成一個個的塊，然後存儲於不同的機器。對於大規模的集群會存儲在不同的機架上，如果一個文件少於 Block 大小，那麼實際佔用的空間為其文件的大小。
5. 數據塊也是基本的讀寫單位，類似於磁碟的扇區，每次都是讀寫一個塊。讀寫多個塊就合成了一個文件。
6. 為了容錯，文件的所有數據塊都會有副本，也就是說複製的是數據塊而不是單獨的一個文件被複制了，默認複製3份，可以在 hdft-site.xml 里進行配置。
7. 副本的數據的存儲規則：
   1. 若client為DataNode節點，那存儲block時，規則為：副本1，同client的節點上；副本2，不同機架節點上；副本3，同第二個副本機架的另一個節點上；其他副本隨機挑選。
   2. 若client不為DataNode節點，那存儲block時，規則為：副本1，隨機選擇一個節點上；副本2，不同機架節點上；副本3，同第二個副本機架的另一個節點上；其他副本隨機挑選。
      

1.2 各組件介紹

NameNode：

• 是整個集群的中心，負責安排管理集群中數據的存儲並記錄存儲文件的元數據和負責客戶端對文件的訪問。
• HA 模式下，一般有一個 active 狀態的 NameNode，若干個 standby 狀態的 NameNode，其中，active 狀態的 NameNode 負責所有的客戶端操作，standby 狀態的 NameNode 處於從屬地位，維護著數據狀態，隨時準備切換。
• 存儲文件的元數據（metadata），主要包括整個文件系統的目錄樹、文件名與 blockid 的映射關係、blockid 在哪個 datanode 上等。
• 在運行時把所有的元數據都保存到 NameNode 機器的記憶體中，所以整個 HDFS 可存儲的文件數受限於 NameNode 的記憶體大小。
• 一個 block 在 NameNode 中對應一條記錄。
• NameNode 的元數據的鏡像文件會保存到本地磁碟，但不保存 block 具體的位置資訊，而是由 DataNode 註冊和運行時進行上報維護。
• NameNode 完蛋了，那整個 HDFS 也就完蛋了，所以要採用冗餘的方案來保證 NameNode 的高可用性。

DataNode：

• 保存 block 塊對應的具體數據。
• 負責數據的讀寫和複製操作。
• DataNode 啟動時會向 NameNode 報告當前存儲的數據塊資訊，也會持續的報告數據塊的修改資訊。
• DataNode 之間會進行互相通訊，來完成複製數據塊的動作，以保證數據的冗餘性。
• DataNode 啟動時要在 NameNode 上註冊，當 DataNode 改變時，也要通知 NameNode 。DataNode 會定期向 NameNode 發送心跳，告知 NameNode 該節點的 DataNode 是可用的。

JournalNode：

• 負責兩個狀態的 NameNode 進行數據同步，保持數據一致

ZKFC：

• 作用是 HA 自動切換。會將 NameNode 的 active 狀態資訊保存到 zookeeper。

二、數據的讀取和寫入過程

2.1 HDFS 的數據寫入過程

1. 客戶端發起數據寫入請求，告訴 NameNode 要寫入的文件資訊；
2. NameNode 根據你的情況（client端所在位置、文件大小）分配給你分配寫入數據的位置也就是寫到那幾個機器上；
3. 客戶端根據 NameNode 回饋的資訊向 DataNode 寫入數據；
4. DataNode 之前感覺副本數複製數據；
5. 複製完成之後，各數據節點向 NameNode 上報 block 資訊；
6. DataNode 通知客戶端已完成；

2.2 HDFS 的數據讀取過程

1. 客戶端發起讀數據的請求；
2. 告訴 NameNode 要讀那個文件；
3. NameNode 返回 block 資訊列表（包括要讀取的數據在那個機器上）；
4. 到指定的機器上讀取具體的數據；
5. DataNode 根據 block 資訊找到數據的存儲位置並返回數據給客戶端；
6. 客戶端讀完數據之後告訴 NameNode 已經讀取完成；

三、HDFS 常用配置文件

3.1 hdfs-site.xml

3.2 core-site.xml

3.3 slaves

• slaves文件裡面記錄的是集群里所有DataNode的主機名

3.4 hadoop-env.sh

• HADOOP_CLASSPATH：hadoop的classpath
• JAVA_LIBRARY_PATH：java載入本地庫的地址
• HADOOP_HEAPSIZE：java虛擬機使用的最大記憶體
• HADOOP_OPTS：hadoop啟動公用參數
• HADOOP_NAMENODE_OPTS：namenode專用參數
• HADOOP_DATANODE_OPTS：datanode專用參數
• HADOOP_CLIENT_OPTS：hadoop client專用參數