Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中
- 2022 年 11 月 3 日
- 笔记
一、前言 近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！ 大数据技术也是有很多 …
Continue Reading
RDD(弹性分布式数据集)及常用算子
- 2022 年 10 月 31 日
- 笔记
RDD(弹性分布式数据集)及常用算子 RDD（Resilient Distributed Dataset）叫做弹性分布式 …
Continue Reading
Spark基本知识
- 2022 年 10 月 30 日
- 笔记
Spark基本知识 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 spark与hadoop的区别 …
Continue Reading
Ignite实战
- 2022 年 10 月 30 日
- 笔记
1.概述 本篇博客将对Ignite的基础环境、集群快照、分布式计算、SQL查询与处理、机器学习等内容进行介绍。 2.内容 …
Continue Reading
折腾一晚上的事情，明白了一个道理
- 2022 年 9 月 4 日
- 笔记
感悟：有时候很简单的笨办法，比那些高大上的技术要实用的多。 有一个数据同步，大约4亿条记录，没有分区。现在要按照天，小时 …
Continue Reading客户流失？来看看大厂如何基于spark+机器学习构建千万数据规模上的用户留存模型 ⛵
- 2022 年 8 月 16 日
- 笔记
💡 作者：韩信子@ShowMeAI 📘 大数据技术 ◉ 技能提升系列：//www.showmeai.tech/tutor …
Continue Reading
大数据开发，Hadoop Spark太重？你试试esProc SPL
- 2022 年 8 月 4 日
- 笔记
摘要：由于目标和现实的错位，对很多用户来讲，Hadoop成了一个在技术、应用和成本上都很沉重的产品。 本文分享自华为云社 …
Continue Reading
Kafka与Spark案例实践
- 2022 年 7 月 31 日
- 笔记
1.概述 Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接 …
Continue Reading
推荐系统-协同过滤在Spark中的实现
- 2022 年 7 月 25 日
- 笔记
作者：vivo 互联网服务器团队-Tang Shutao 现如今推荐无处不在，例如抖音、淘宝、京东App均能见到推荐系统 …
Continue Reading
分布式机器学习：模型平均MA与弹性平均EASGD（PySpark）
- 2022 年 6 月 30 日
- 笔记
计算机科学一大定律：许多看似过时的东西可能过一段时间又会以新的形式再次回归。 1 模型平均方法(MA) 1.1 算法描述 …
Continue Reading