【大數據學習與分享】技術乾貨合集

大數據學習與分享】主要是做什麼的？

【大數據學習與分享】主要專註於大數據領域常用的技術，如Spark、Hadoop、Hive、HBase、Kafka、Zookeeper等技術的使用、實戰技巧、源碼解讀，語言主要以Java和Scala為主，保證文章品質，為大家提供一個優質的大數據學習與分享平台。同時也會涉及到目前市場上已經開源的並且在企業中已得到實際應用的基於這些技術進行「封裝」的一些技術。

但是專註於大數據卻並不僅僅是大數據，畢竟技術是相通的，很多技術往往都有其共性，但也有各自的特色也就有了不同的適用場景。我們在學習一個技術的時候，不僅僅要學習如何用這個技術、如何學習它的原理等，更要了解它的思想，比如設計思想。這不僅僅會讓我們對這個技術有更深層次的理解，也會幫助我們迅速的學習其他的如與其相關的技術，做到舉一反三，事半而功倍。

【大數據學習與分享】能為大數據領域從業者帶來什麼？

其實不僅僅是大數據領域從業者，任何從事IT工作或者對IT技術感興趣的人，相信在這裡都能受益匪淺。技術乾貨、面試分享、源碼解讀、大數據項目經驗以及實實在在的可用於實際企業開發的編程知識等都會陸續呈獻給大家，後期還會為大家帶來一些免費的學習資源，希望能夠幫助小夥伴們在大數據領域得到更好的發展。
當然很多事物的成長都是雙向的，「大數據學習與分享」也不例外。在為各位小夥伴們兒帶來技術領域乾貨的同時，也希望能夠得到各位的支援，如果有好的建議也希望不吝賜教。

 

【大數據學習與分享】目前的願景？

【大數據學習與分享】致力於從概念到使用、從基礎到原理、從示例到實戰的講解一個技術，並會結合一些實際中當運用這些技術時遇到的問題以及如何解決這些問題做一些分享交流，希望為所有技術愛好者帶來一個學習、交流、分享的平台。   

 

【大數據學習與分享】技術乾貨合集

大數據和OLAP技術匯總篇

  1. 大數據常用技術棧
  2. 淺談OLAP系統核心技術點
  3. OLAP數倉入門：基礎篇
  4. OLAP數倉入門：進階篇
  5. 六大主流大數據採集平台架構分析
  6. Kylin、Druid、ClickHouse核心技術對比



Spark篇
 

  1. Spark通識

  2. Spark集群和任務執行
  3. 對Spark硬體配置的建議
  4. Spark閉包 | driver & executor程式程式碼執行
  5. Spark RDD詳解
  6. Spark為什麼只有在調用action時才會觸發任務執行呢（附運算元優化和使用示例）？
  7. 通過spark.default.parallelism談Spark並行度
  8. 聊聊Spark的分區
  9. 重要 | Spark分區並行度決定機制
  10. Spark在處理數據的時候，會將數據都載入到記憶體再做處理嗎？
  11. Spark SQL | 目前Spark社區最活躍的組件之一
  12. Spark SQL解析查詢parquet格式Hive表獲取分區欄位和查詢條件
  13. Spark存儲Parquet數據到Hive，對map、array、struct欄位類型的處理
  14. Spark SQL 小文件問題處理
  15. SparkSQL與Hive metastore Parquet轉換
  16. Spark SQL如何選擇join策略
  17. Spark SQL中Not in Subquery為何低效以及如何規避
  18. SparkSQL中產生笛卡爾積的幾種典型場景以及處理策略
  19. SparkSQL真的不支援存儲NullType類型數據到Parquet嗎?
  20. Spark中廣播變數詳解以及如何動態更新廣播變數
  21. Spark流式狀態管理
  22. 解析SparkStreaming和Kafka集成的兩種方式
  23. Spark推薦系統實踐
  24. Spark實現推薦系統中的相似度演算法
  25. Spark MLlib中KMeans聚類演算法的解析和應用
  26. Spark和Spring整合處理離線數據
  27. 通過Spark生成HFile，並以BulkLoad方式將數據導入到HBase
  28. 如何獲取流式應用程式中checkpoint的最新offset
  29. Spark之離線統計熱點城市資訊
  30. 學好Spark必須要掌握的Scala技術點
  31. Spark Executor記憶體管理
  32. Spark 數據傾斜及其解決方案
  33. 不可不知的Spark調優點
  34. 重要 | Spark和MapReduce的對比
  35. Spark和MapReduce任務計算模型
  36. Apache Spark 3.0.0重磅發布 —— 重要特性全面解析
  37. 自適應查詢執行：在運行時提升Spark SQL執行性能
  38. 【PySpark源碼解析】用Python調用高效Scala介面，搞定大規模數據分析



Hadoop篇  

  1. 詳解MapReduce

  2. 必須掌握的分散式文件存儲系統—HDFS

  3. 關於HDFS應知應會的幾個問題

  4. NameNode主備宕機引發的思考

  5. 如何有效恢復誤刪的HDFS文件

  6. 不可不知的資源管理調度器Hadoop Yarn

 


Hive篇

  1. Apache Hive
  2. Hive Join優化
  3. Hadoop支援的壓縮格式對比和應用場景以及Hadoop native庫
  4. Hive實現自增序列及元數據問題
  5. Hive Query生命周期 —— 鉤子（Hook）函數篇
  6. Hive常用性能優化方法實踐全面總結

     

  7. 基於Hive進行數倉建設的資源元數據資訊統計

     

  8. Spark SQL/Hive實用函數大全
  9. 經典的SparkSQL/Hive-SQL/MySQL面試-練習題
  10. Hive中的count(distinct)優化

 


HBase篇

  1. 深入探討HBASE
  2. HBase高級特性、rowkey設計以及熱點問題處理
  3. HBase中Memstore存在的意義以及多列族引起的問題和設計
  4. Hive數據導入HBase引起數據膨脹引發的思考
  5. 通過Spark生成HFile，並以BulkLoad方式將數據導入到HBase
  6. 從HBase底層原理解析HBASE列族不能設計太多的原因？
  7. 通過BulkLoad快速將海量數據導入到HBase



Kafka篇

  1. 分散式流平台Kafka
  2. Kafka作為消息系統的系統解析
  3. Kafka中sequence IO、PageCache、SendFile的應用詳解
  4. Kafka分區分配策略（Partition Assignment Strategy）
  5. 如何為Kafka集群確定合適的分區數以及分區數過多帶來的弊端
  6. Kafka集群消息積壓問題及處理策略
  7. Kafka作為存儲系統在Twitter的應用

 

數據倉庫和數據分析篇

  1. 九種常見的數據分析模型
  2. 從統計學到機器學習，必須掌握的5個核心概念
  3. 淺談數據倉庫建設中的數據建模方法
  4. 數據倉庫架構和建設方法論
  5. 數據湖VS數據倉庫之爭？阿里提出湖倉一體架構
  6. 初創公司數據倉庫的建設實踐
  7. 詳解數據倉庫的實施步驟
  8. 辨析BI、數據倉庫、數據湖和數據中台內涵及差異點
  9. 企業大數據平台倉庫架構建設思路

應用實踐篇

  1. 知乎實時數倉架構演進

  2. 大數據平台架構設計探究
  3. 都在說實時數據架構，你了解多少？
  4. 從 Spark Streaming 到 Apache Flink：bilibili 實時平台的架構與實踐
  5. 菜鳥供應鏈實時數倉的架構演進及應用場景
  6. OPPO 實時數倉揭秘：從頂層設計實現離線與實時的平滑遷移
  7. 有贊大數據平台安全建設實踐
  8. 海量數據實時分析服務技術架構演進
  9. 有贊數據倉庫實踐之路
  10. 有贊大數據離線集群遷移實戰
  11. 餓了么元數據管理實踐之路
  12. 元數據：數據治理的基石
  13. 數據品質：數據治理的核心
  14. 當我們聊數據品質的時候，我們在聊些什麼？
  15. 有贊數據倉庫元數據系統實踐
  16. 面向企業數據中台的數據治理七把利劍
  17. 數據資產，贊之治理
  18. 下一個風口-基於數據湖架構下的數據治理
  19. 從數倉到數據中台，談技術選型最優解
  20. 辨析BI、數據倉庫、數據湖和數據中台內涵及差異點
  21. 有贊大數據離線集群遷移實戰
  22. 如何設計實時數據平台 —— 技術選型與架構設計
  23. 數倉大法好！跨境電商 Shopee 的實時數倉之路
  24. 實時離線一體化助力渠道分析系統
  25. 推薦系統之標籤體系

 


程式語言篇

  1. Java並發隊列與容器
  2. JVM記憶體管理和垃圾回收

  3. JVM垃圾回收器、記憶體分配與回收策略

  4. 從記憶體泄露、記憶體溢出和堆外記憶體，JVM優化參數配置參數

     

  5. 學好Spark必須要掌握的Scala技術點

  6. Scala中的IO操作及ArrayBuffer執行緒安全問題

 


Linux
 

  1. linux系統層面調優和常見的面試題

  2. Linux性能檢測常用的10個基本命令

 


職場經驗篇

  1. 聊聊今年如何準備找工作

  2. 從《賣油翁》談職業規劃和選擇的重要性

  3. 為什麼建議你構建自己的知識體系，以及如何構建？

 


其他

  1. 一文看懂雲計算、大數據和人工智慧

     

  2. 筆試編程 | 二分查找、數組、排序

     

  3. Redis從入門到精通

  4. Redis中的哈希問題

     

  5. 關於一些技術點的隨筆記錄
  6. 關於一些技術點的隨筆記錄（二）
  7. 分散式定時任務調度框架實踐

  8. 開發導致的記憶體泄露問題，運維小夥伴兒這樣排查不背鍋

 

關注微信公眾號：大數據學習與分享，獲取更對技術乾貨

Tags:

VirMach 便宜 VPS

QNews

QNews