Hadoop: 單詞計數(Word Count)的MapReduce實現
- 2022 年 5 月 24 日
- 筆記
1.Map與Reduce過程 1.1 Map過程 首先，Hadoop會把輸入數據劃分成等長的輸入分片(input spl …
Continue Reading
vivo 萬台規模 HDFS 集群升級 HDFS 3.x 實踐
- 2022 年 5 月 16 日
- 筆記
vivo 互聯網大數據團隊-Lv Jia Hadoop 3.x的第一個穩定版本在2017年底就已經發布了，有很多重大的改 …
Continue Reading
HDFS High Availability（HA）高可用配置
- 2022 年 5 月 15 日
- 筆記
高可用性（英語：high availability，縮寫為 HA） IT術語，指系統無中斷地執行其功能的能力，代表系統的 …
Continue Reading
Java操作Hadoop、Map、Reduce合成
- 2022 年 5 月 8 日
- 筆記
原始數據: Map階段 1.每次讀一行數據, 2.拆分每行數據, 3.每個單詞碰到一次寫個1 <0, “ …
Continue Reading
Hadoop（四）C#連接Hive
- 2022 年 5 月 4 日
- 筆記
Hive Hive將HiveQL（類sql語言）轉為MapReduce，完成數據的查詢與分析，減少了編寫MapReduc …
Continue Reading
Hadoop（四）C#操作Hbase
- 2022 年 5 月 2 日
- 筆記
Hbase Hbase是一種NoSql模式的資料庫，採用了列式存儲。而採用了列存儲天然具備以下優勢： 可只查涉及的列，且 …
Continue Reading
Hadoop（三）通過C#/python實現Hadoop MapReduce
- 2022 年 5 月 1 日
- 筆記
MapReduce Hadoop中將數據切分成塊存在HDFS不同的DataNode中，如果想匯總，按照常規想法就是，移動 …
Continue Reading
【Hadoop】9、Sqoop組件
- 2022 年 4 月 30 日
- 筆記
目錄 Sqoop組件安裝與配置 1、使用xftp將軟體包上傳到/opt/software 2、部署sqoop(在mast …
Continue Reading
Hadoop（二）Hdfs基本操作
- 2022 年 4 月 30 日
- 筆記
HDFS HDFS由大量伺服器組成存儲集群，將數據進行分片與副本，實現高容錯。 而分片最小的單位就是塊。默認塊的大小是6 …
Continue Reading
Hadoop（一）Hadoop核心架構與安裝
- 2022 年 4 月 29 日
- 筆記
Hadoop是什麼 大白話，Hadoop是個存儲數據，計算數據的分散式框架。核心組件是HDFS、MapReduce、Ya …
Continue Reading