大数据开发体系，进来了解一下？

• 2019 年 10 月 5 日
• 笔记

1. 大数据基础及工具

掌握Linux必备知识，熟悉Python的使用与爬虫程序的编写，搭建Hadoop（CDH）集群，为大数据技术学习打好基础。

l Linux必备知识

l Docker安装与使用

l Python基础及网络爬虫讲解

l 分布式协调基石框架：Zookeeper

l 大数据集群搭建

2. HADOOP专题

掌握离线数据处理的流程、架构及相关技术的运用。掌握大数据核心基础组件：HDFS，MapReduce及YARN。

l 大数据基石框架：Hadoop

l 离线批处理：Hive

l 数据采集：flume

3. SPARK专题

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，大数据的学习需要从理论到核心源码全面掌握主流通用大数据处理框架：Spark

l Scala语言精讲

l Spark概要

l Spark core

l Spark SQL

l SparkStreaming

l Spark存储系统及调度系统

l Spark计算引擎

4. 实时计算专题

熟悉实时处理的应用场景，掌握实时数据处理的流程、架构及相关技术的运用。掌握实时通用处理框架、Flink及实时主流技术组件：Kafka、Hbase。

l 分布式消息系统：Kafka

l 新一代通用处理框架：Flink

l 高性能分布式数据库：Hbase

5. 数仓专题

讲解数据仓库背景知识，常用数仓模型，ETL主流工具Sqoop，Kettle，Oozie和Azkaban。掌握数据仓库搭建过程及具体技术的应用。

l 数仓概要知识、建模理论、数据治理

l 数仓ETL工具：Sqoop、Kettle

l 数仓任务调度工具：Azkaban

6. 搜索与推荐专题

了解了搜索和推荐两大互联网公司必有的大数据应用系统的通用架构，常用算法和相关技术。

l 全文搜索引擎ElasticSearch

l 推荐理论

7. 机器学习算法专题

机器学习为现阶段大数据重要处理方式，这一部分我们要掌握常用机器学习算法思想、过程和在实际问题中的应用

l 机器学习概要

l 分类问题常用算法

l 预测问题常用算法

8. 其他组件与场景运用

l 生产应用相关

l 交互式查询