HDFS 03 – 你能說說 HDFS 的寫入和讀取過程嗎？
- 2021 年 3 月 1 日
- 筆記
目錄 1 – HDFS 文件的寫入 1.1 寫入過程 1.2 寫入異常時的處理 1.3 寫入的一致性 2 & …
Continue Reading
HDFS 02 – HDFS 的機制：副本機制、機架感知機制、負載均衡機制
- 2021 年 2 月 20 日
- 筆記
目錄 1 – HDFS 的副本機制 2 – HDFS 的機架感知機制 3 – HDF …
Continue Reading
HDFS 01 – HDFS是什麼？它的適用場景有哪些？它的架構是什麼？
- 2021 年 2 月 18 日
- 筆記
目錄 1、HDFS 是什麼 1.1 簡單介紹 1.2 發展歷史 2、HDFS 應用場景 2.1 適合的應用場景 2.2 …
Continue Reading
大數據系列4：Yarn以及MapReduce 2
- 2021 年 1 月 29 日
- 筆記
系列文章： 大數據系列：一文初識Hdfs 大數據系列2：Hdfs的讀寫操作 大數據謝列3：Hdfs的HA實現 通過前文， …
Continue Reading
大數據謝列3：Hdfs的HA實現
- 2021 年 1 月 27 日
- 筆記
在之前的文章：大數據系列：一文初識Hdfs ， 大數據系列2：Hdfs的讀寫操作 中Hdfs的組成、讀寫有簡單的介紹。 …
Continue Reading
大數據系列2：Hdfs的讀寫操作
- 2021 年 1 月 26 日
- 筆記
在前文大數據系列1：一文初識Hdfs中，我們對Hdfs有了簡單的認識。 在本文中，我們將會簡單的介紹一下Hdfs文件的讀 …
Continue Reading
大數據系列1：一文初識Hdfs
- 2021 年 1 月 25 日
- 筆記
最近有位同事經常問一些Hadoop的東西，特別是Hdfs的一些細節，有些記得不清楚，所以趁機整理一波。 會按下面的大綱進 …
Continue Reading
新來的運維這樣用HDFS，CIO都懵了···
- 2021 年 1 月 12 日
- 筆記
摘要：本文主要研究了HDFS文件系統的讀寫流程以及基於MRS在windows客戶端下讀寫HDFS文件的實現。 HDFS（ …
Continue Reading
Hadoop支持的壓縮格式對比和應用場景以及Hadoop native庫
- 2020 年 12 月 31 日
- 筆記
對於文件的存儲、傳輸、磁盤IO讀取等操作在使用Hadoop生態圈的存儲系統時是非常常見的，而文件的大小等直接影響了這些操 …
Continue Reading多個HDFS集群的fs.defaultFS配置一樣，造成應用一直連接同一個集群的問題分析
- 2020 年 12 月 17 日
- 筆記
背景 應用需要對兩個集群中的同一目錄下的HDFS文件個數和文件總大小進行比對，在測試環境中發現，即使兩邊HDFS目錄下的 …
Continue Reading