Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中
- 2022 年 11 月 3 日
- 笔记
一、前言 近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！ 大数据技术也是有很多 …
Continue Reading
Java访问Scala中的Int类型
- 2022 年 9 月 12 日
- 笔记
出错代码 写java 和 scala 混合代码的时候遇到一个小问题 def extractRefInputFieldsW …
Continue Reading
TDM 三部曲 (与 Deep Retrieval)
- 2022 年 8 月 15 日
- 笔记
推荐系统的主要目的是从海量物品库中高效检索用户最感兴趣的物品，既然是“海量”，意味着用户基本不可能浏览完所有的物品，所以 …
Continue ReadingScala 练习题 学生分数案例
- 2022 年 7 月 20 日
- 笔记
一、相关信息题目：1、统计班级人数2、统计学生的总分3、统计总分年级排名前十学生各科的分数4、统计总分大于年级平均分的学 …
Continue ReadingSpark读取elasticsearch数据指南
- 2022 年 6 月 8 日
- 笔记
最近要在 Spark job 中通过 Spark SQL 的方式读取 Elasticsearch 数据，踩了一些坑，总结 …
Continue Readingalpakka-kafka(10)-用kafka实现分布式近实时交易
- 2022 年 2 月 16 日
- 笔记
随着网上购物消费模式热度的不断提高，网上销售平台上各种促销手段也层出不穷，其中“秒购”已经是各种网站普遍流行的促销方 …
Continue ReadingScala函数高级篇
- 2022 年 2 月 13 日
- 笔记
一、匿名函数 没有名字的函数就是匿名函数，格式：(x:Int)=>{函数体} x：表示输入参数类型；Int：表示 …
Continue Readingalpakka-kafka(9)-kafka在分布式运算中的应用
- 2022 年 1 月 28 日
- 笔记
kafka具备的分布式、高吞吐、高可用特性，以及所提供的各种消息消费模式可以保证在一个多节点集群环境里消息被消费的安 …
Continue Reading
spark性能优化（一）
- 2021 年 10 月 17 日
- 笔记
本文内容说明 初始化配置给rdd和dataframe带来的影响 repartition的相关说明 cache&p …
Continue Reading
spark相关介绍-提取hive表（一）
- 2021 年 9 月 19 日
- 笔记
本文环境说明 centos服务器 jupyter的scala核spylon-kernel spark-2.4.0 sca …
Continue Reading