【Cloud Computing】Hadoop環境安裝、基本命令及MapReduce字數統計程式
- 2021 年 11 月 28 日
- 筆記
【Cloud Computing】Hadoop環境安裝、基本命令及MapReduce字數統計程式 1.虛擬機準備 1.1 …
Continue Reading八、hive3.1.2 安裝及其配置（本地模式和遠程模式）
- 2021 年 11 月 23 日
- 筆記
目錄 前文 hive3.1.2 安裝及其配置（本地模式和遠程模式） 1、下載hive包 2、修改其環境變數 3、MySQ …
Continue Reading
CentOS7 hadoop3.3.1安裝(單機分散式、偽分散式、分散式)
- 2021 年 11 月 13 日
- 筆記
@ 目錄 前言 預先設置 修改主機名 關閉防火牆 創建hadoop用戶 SSH安裝免密登陸 單機免密登陸——linux配 …
Continue Reading
HDFS 10 – HDFS 的聯邦機制（Federation 機制）
- 2021 年 10 月 4 日
- 筆記
目錄 1 – 為什麼需要聯邦 2 – Federation 架構設計 3 HDFS Federa …
Continue Reading
HDFS 09 – HDFS NameNode 的高可用機制
- 2021 年 8 月 22 日
- 筆記
目錄 1 – 為什麼要高可用 2 – NameNode 的高可用發展史 3 – HD …
Continue Reading
HDFS 07 – HDFS 性能調優之 合併小文件
- 2021 年 6 月 20 日
- 筆記
目錄 1 – 為什麼要合併小文件 2 – 合併本地的小文件，上傳到 HDFS 3 – …
Continue Reading
HDFS 05 – HDFS 的元數據管理（FSImage、EditLog、Checkpoint）
- 2021 年 6 月 6 日
- 筆記
目錄 1 – NameNode 的啟動流程 2 – NameNode 的元數據 2.1 Edit …
Continue ReadingHadoop學習筆記—HDFS
- 2021 年 4 月 3 日
- 筆記
目錄 搭建安裝 三個核心組件 安裝 配置環境變數 配置各上述三組件守護進程的相關屬性 啟停 監控和性能 Hadoop R …
Continue Reading
HDFS的上傳流程以及windows-idea操作文件上傳的注意
- 2021 年 3 月 14 日
- 筆記
HDFS的上傳流程 命令：hdfs dfs -put xxx.wmv /hdfs的文件夾 cd進入到要上傳文件的當前目錄 …
Continue Reading關於HDFS存儲元數據的NameNode持久化存儲
- 2021 年 3 月 14 日
- 筆記
NameNode持久化場景引入： 問題：NameNode宕機，導致記憶體中的文件元數據丟失怎麼辦？我們知道元數據是存儲來內 …
Continue Reading