圖文詳解MapReduce工作機制
- 2022 年 6 月 2 日
- 筆記
job提交階段 1、準備好待處理文本。 2、客戶端submit()前，獲取待處理數據的信息，然後根據參數配置，形成一個任 …
Continue Reading
Spark: 單詞計數(Word Count)的MapReduce實現(Java/Python)
- 2022 年 5 月 26 日
- 筆記
1 導引 我們在博客《Hadoop: 單詞計數(Word Count)的MapReduce實現 》中學習了如何用Hado …
Continue Reading
Hadoop: 單詞計數(Word Count)的MapReduce實現
- 2022 年 5 月 24 日
- 筆記
1.Map與Reduce過程 1.1 Map過程 首先，Hadoop會把輸入數據劃分成等長的輸入分片(input spl …
Continue Reading
開發一個不需要重寫成Hive QL的大數據SQL引擎
- 2022 年 4 月 29 日
- 筆記
摘要：開發一款能支持標準數據庫SQL的大數據倉庫引擎，讓那些在Oracle上運行良好的SQL可以直接運行在Hadoop上 …
Continue Reading
帶你了解極具彈性的Spark架構的原理
- 2022 年 4 月 22 日
- 筆記
摘要：相比MapReduce僵化的Map與Reduce分階段計算相比，Spark的計算框架更加富有彈性和靈活性，運行性能 …
Continue Reading
不care工具，在大數據平台中Hive能自動處理SQL
- 2022 年 4 月 19 日
- 筆記
摘要：有沒有更簡單的辦法，可以直接將SQL運行在大數據平台？ 本文分享自華為雲社區《Hive執行原理》，作者： Java …
Continue Reading
坐實大數據資源調度框架之王，Yarn為何這麼牛
- 2022 年 4 月 12 日
- 筆記
摘要：Yarn的出現伴隨着Hadoop的發展，使Hadoop從一個單一的大數據計算引擎，成為大數據的代名詞。 本文分享自 …
Continue Reading
【Cloud Computing】Hadoop環境安裝、基本命令及MapReduce字數統計程序
- 2021 年 11 月 28 日
- 筆記
【Cloud Computing】Hadoop環境安裝、基本命令及MapReduce字數統計程序 1.虛擬機準備 1.1 …
Continue Reading
CentOS7 hadoop3.3.1安裝(單機分佈式、偽分佈式、分佈式)
- 2021 年 11 月 13 日
- 筆記
@ 目錄 前言 預先設置 修改主機名 關閉防火牆 創建hadoop用戶 SSH安裝免密登陸 單機免密登陸——linux配 …
Continue Reading
MR 01 – MapReduce 計算框架入門
- 2021 年 10 月 9 日
- 筆記
目錄 1 – 什麼是 MapReduce 2 – MapReduce 的設計思想 2.1 如何海 …
Continue Reading