Spark的兩種核心Shuffle詳解
- 2021 年 8 月 16 日
- 筆記
在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋樑， Map 階段通過 …
Continue Reading
spark學習
- 2021 年 7 月 16 日
- 筆記
Spark概述 Spark定義 spark是一種基於內存的快速、通用、可擴展S的大數據分析計算引擎 Spark Core …
Continue Reading
看CarbonData如何用四招助力Apache Spark
- 2021 年 6 月 30 日
- 筆記
摘要：CarbonData 在 Apache Spark 和存儲系統之間起到中介服務的作用，為 Spark 提供的4個重 …
Continue Reading
Hive和Spark分區策略
- 2021 年 6 月 27 日
- 筆記
1.概述 離線數據處理生態系統包含許多關鍵任務，最大限度的提高數據管道基礎設施的穩定性和效率是至關重要的。這邊博客將分享 …
Continue Reading
數據質量管理方法
- 2021 年 6 月 1 日
- 筆記
數據處理的過程 數據處理的過程一般如下： 數據質量管理(DATA Quality Managenment)是指對上述過程 …
Continue Reading學習建議，大數據組件那麼多，可以重點學習這幾個
- 2021 年 5 月 25 日
- 筆記
經常有同學問我，基於Hadoop生態圈的大數據組件有很多，怎麼學的過來呢，畢竟精力有限，我們需要有側重點，我覺得下面這幾 …
Continue Reading
Hbase問題小結(一)
- 2021 年 5 月 12 日
- 筆記
1. Hbase讀寫優化 寫： 批量寫、異步批量提交、多線程並發寫、使用BulkLoad寫入、表優化（壓縮算法、預分區、 …
Continue Reading
實時計算框架：Flink集群搭建與運行機制
- 2021 年 5 月 9 日
- 筆記
一、Flink概述 1、基礎簡介 Flink是一個框架和分佈式處理引擎，用於對無界和有界數據流進行有狀態計算。Flink …
Continue Reading
實時計算框架：Spark集群搭建與入門案例
- 2021 年 4 月 26 日
- 筆記
一、Spark概述 1、Spark簡介 Spark是專為大規模數據處理而設計的，基於內存快速通用,可擴展的集群計算引擎， …
Continue Reading
SparkStreaming使用mapWithState時，設置timeout()無法生效問題解決方案
- 2021 年 4 月 13 日
- 筆記
前言 當我在測試SparkStreaming的狀態操作mapWithState算子時，當我們設置timeout(3s)的 …
Continue Reading