SparkStreaming和Kafka基于Direct Approach如何管理offset实现exactly once
- 2021 年 1 月 22 日
- 笔记
在之前的文章《解析SparkStreaming和Kafka集成的两种方式》中已详细介绍SparkStreaming和Ka …
Continue ReadingSpark流式状态管理（updateStateByKey、mapWithState等）
- 2020 年 12 月 9 日
- 笔记
通常使用Spark的流式框架如Spark Streaming，做无状态的流式计算是非常方便的，仅需处理每个批次时间间隔内 …
Continue Reading