火山引擎 DataLeap 的 Data Catalog 系统公有云实践
- 2022 年 11 月 30 日
- 笔记
Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景。 …
Continue Reading
Sqoop的介绍和安装
- 2022 年 11 月 29 日
- 笔记
sqoop下载地址：//share.weiyun.com/woVbfnfS 或者 //archive.apache.or …
Continue Reading
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
- 2022 年 11 月 29 日
- 笔记
@ 目录 集成Spark开发 Spark编程读写示例 DeltaStreamer 集成Flink 环境准备 sql-cl …
Continue Reading
【深入浅出 Yarn 架构与实现】3-3 Yarn Application Master 编写
- 2022 年 11 月 18 日
- 笔记
本篇文章继续介绍 Yarn Application 中 ApplicationMaster 部分的编写方法。 一、App …
Continue Reading
聊聊Hive数据血缘——从Atlas没有列级血缘的Bug讲起
- 2022 年 11 月 16 日
- 笔记
前几天，Datahub提供了最新的字段级别数据血缘功能，很多朋友迫不及待想对比一下Datahub的字段级血缘与Atlas …
Continue Reading
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-上
- 2022 年 11 月 15 日
- 笔记
@ 目录 概述 定义 发展历史 特性 使用场景 编译安装 编译环境 编译Hudi 关键概念 TimeLine(时间轴) …
Continue Reading
【深入浅出 Yarn 架构与实现】3-1 Yarn Application 流程与编写方法
- 2022 年 11 月 14 日
- 笔记
本篇学习 Yarn Application 编写方法，将带你更清楚的了解一个任务是如何提交到 Yarn ，在运行中的交互 …
Continue ReadingClickHouse(10)ClickHouse合并树MergeTree家族表引擎之ReplacingMergeTree详细解析
- 2022 年 11 月 9 日
- 笔记
目录 建表语法 数据处理策略 资料分享 参考文章 MergeTree拥有主键，但是它的主键却没有唯一键的约束。这意味着即 …
Continue Reading
从港口煤炭工人，到国企大数据负责人：曾经的网瘾少年是怎么做到的？
- 2022 年 11 月 8 日
- 笔记
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人，近日公众号粉丝也刚刚突破 …
Continue Reading
【深入浅出 Yarn 架构与实现】1-2 搭建 Hadoop 源码阅读环境
- 2022 年 11 月 8 日
- 笔记
本文将介绍如何使用 idea 搭建 Hadoop 源码阅读环境。（默认已安装好 Java、Maven 环境） 一、搭建源 …
Continue Reading