火山引擎 DataLeap 的 Data Catalog 系統公有雲實踐
- 2022 年 11 月 30 日
- 筆記
Data Catalog 通過匯總技術和業務元數據，解決大數據生產者組織梳理數據、數據消費者找數和理解數的業務場景。 …
Continue Reading
Sqoop的介紹和安裝
- 2022 年 11 月 29 日
- 筆記
sqoop下載地址：//share.weiyun.com/woVbfnfS 或者 //archive.apache.or …
Continue Reading
大數據下一代變革之必研究數據湖技術Hudi原理實戰雙管齊下-下
- 2022 年 11 月 29 日
- 筆記
@ 目錄 集成Spark開發 Spark編程讀寫示例 DeltaStreamer 集成Flink 環境準備 sql-cl …
Continue Reading
【深入淺出 Yarn 架構與實現】3-3 Yarn Application Master 編寫
- 2022 年 11 月 18 日
- 筆記
本篇文章繼續介紹 Yarn Application 中 ApplicationMaster 部分的編寫方法。 一、App …
Continue Reading
聊聊Hive數據血緣——從Atlas沒有列級血緣的Bug講起
- 2022 年 11 月 16 日
- 筆記
前幾天，Datahub提供了最新的欄位級別數據血緣功能，很多朋友迫不及待想對比一下Datahub的欄位級血緣與Atlas …
Continue Reading
大數據下一代變革之必研究數據湖技術Hudi原理實戰雙管齊下-上
- 2022 年 11 月 15 日
- 筆記
@ 目錄 概述 定義 發展歷史 特性 使用場景 編譯安裝 編譯環境 編譯Hudi 關鍵概念 TimeLine(時間軸) …
Continue Reading
【深入淺出 Yarn 架構與實現】3-1 Yarn Application 流程與編寫方法
- 2022 年 11 月 14 日
- 筆記
本篇學習 Yarn Application 編寫方法，將帶你更清楚的了解一個任務是如何提交到 Yarn ，在運行中的交互 …
Continue ReadingClickHouse(10)ClickHouse合併樹MergeTree家族表引擎之ReplacingMergeTree詳細解析
- 2022 年 11 月 9 日
- 筆記
目錄 建表語法 數據處理策略 資料分享 參考文章 MergeTree擁有主鍵，但是它的主鍵卻沒有唯一鍵的約束。這意味著即 …
Continue Reading
從港口煤炭工人，到國企大數據負責人：曾經的網癮少年是怎麼做到的？
- 2022 年 11 月 8 日
- 筆記
大家好，我是獨孤風，一位曾經的港口煤炭工人，目前在某國企任大數據負責人，公眾號大數據流動主理人，近日公眾號粉絲也剛剛突破 …
Continue Reading
【深入淺出 Yarn 架構與實現】1-2 搭建 Hadoop 源碼閱讀環境
- 2022 年 11 月 8 日
- 筆記
本文將介紹如何使用 idea 搭建 Hadoop 源碼閱讀環境。（默認已安裝好 Java、Maven 環境） 一、搭建源 …
Continue Reading