MapReduce原理深入理解(二)
- 2021 年 9 月 23 日
- 筆記
1.Mapreduce操作不需要reduce階段 1 import org.apache.hadoop.conf.C …
Continue Reading
MapReduce原理深入理解(一)
- 2021 年 9 月 23 日
- 筆記
1.MapReduce概念 1）MapReduce是一種分佈式計算模型，由Google提出，主要用於搜索領域，解決海量數 …
Continue Reading
MapReduce框架-Join的使用
- 2021 年 8 月 13 日
- 筆記
引言 首先先明白在關係型數據庫中Join的用法。 Join在MapReduce中的用法也是用於兩個文件之間的連接。 使用 …
Continue Reading基於文件的表合併及行轉列實現參考
- 2021 年 6 月 29 日
- 筆記
用例：有N個文件，每個文件只有一列主鍵，每個文件代表一種屬性。即當如PRI1主鍵在A文件中，說明PRI1具有A屬性。 …
Continue ReadingMapReduce原理及簡單實現
- 2021 年 2 月 21 日
- 筆記
MapReduce是Google在2004年發表的論文《MapReduce: Simplified Data Proce …
Continue Reading【大數據學習與分享】技術乾貨合集
- 2021 年 2 月 9 日
- 筆記
大數據學習與分享】主要是做什麼的？ 【大數據學習與分享】主要專註於大數據領域常用的技術，如Spark、Hadoop、Hi …
Continue ReadingHadoop 專欄 – MapReduce 入門
- 2021 年 1 月 21 日
- 筆記
MapReduce的基本思想 先舉一個簡單的例子: 打個比方我們有三個人鬥地主, 要數數牌夠不夠, 一種最簡單的方法可以 …
Continue Reading
簡要MR與Spark在Shuffle區別
- 2021 年 1 月 18 日
- 筆記
一、區別 ①本質上相同，都是把Map端數據分類處理後交由Reduce的過程。 ②數據流有所區別，MR按map, spil …
Continue Reading
Hadoop框架：MapReduce基本原理和入門案例
- 2020 年 11 月 22 日
- 筆記
本文源碼：GitHub·點這裡 || GitEE·點這裡 一、MapReduce概述 1、基本概念 Hadoop核心組件 …
Continue Reading
重要 | Spark和MapReduce的對比，不僅僅是計算模型？
- 2020 年 11 月 4 日
- 筆記
【前言：筆者將分上下篇文章進行闡述Spark和MapReduce的對比，首篇側重於”宏觀”上的對 …
Continue Reading