FlinkSQL之Windowing TVF
- 2022 年 11 月 1 日
- 筆記
Windowing TVF 在Flink1.13版本之后出现的替代之前的Group window的产物，官网描述其 is more powerful and effective //TVF 中的tumble滚动窗口 //tumble(table sensor,descriptor(et),inter …
Continue Reading《基於Apache Flink的流處理》讀書筆記
- 2022 年 10 月 11 日
- 筆記
前段时间详细地阅读了 《Apache Flink的流处理》 这本书，作者是 Fabian Hueske&Vasiliki Kalavri，国内崔星灿翻译的，这本书非常详细、全面得介绍了Flink流处理，并且以气象数据的例子讲解其中的使用，我把其中一些比较重要的句子做了比较，并且分享给大家。有一些我不 …
Continue Readingflinksql讀寫redis
- 2022 年 10 月 10 日
- 筆記
0、前言 最近有个需求，需要使用flinksql读写redis，由于官网上并没有redis的connector，在网上找了很久，开源的几个connector又没法满足要求，所有这里就自己动手实现了一个。已经适配了各个版本的flink，从flink1.12到flink1.15。 简单介绍一下功能吧： …
Continue Reading
flink-cdc同步mysql數據到hive
- 2022 年 9 月 16 日
- 筆記
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 …
Continue Reading
flink-cdc同步mysql數據到hbase
- 2022 年 9 月 16 日
- 筆記
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 …
Continue Reading
flink-cdc同步mysql數據到kafka
- 2022 年 9 月 14 日
- 筆記
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 …
Continue Reading
flink-cdc實時同步mysql數據到elasticsearch
- 2022 年 9 月 13 日
- 筆記
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 …
Continue ReadingFlink SQL 子圖復用邏輯分析
- 2022 年 9 月 12 日
- 筆記
子图复用优化是为了找到SQL执行计划中重复的节点，将其复用，避免这部分重复计算的逻辑。先回顾SQL执行的主要流程 parser -> validate -> logical optimize -> physical optimize -> translateToExecNode。 而子图复用的逻辑就 …
Continue Reading
使用jmh框架進行benchmark測試
- 2022 年 8 月 7 日
- 筆記
性能问题 最近在跑flink社区1.15版本使用json_value函数时，发现其性能很差，通过jstack查看堆栈经常在执行以下堆栈 可以看到这里的逻辑是在等锁，查看jsonpath的LRUCache // // Source code recreated from a .class file b …
Continue Reading
pyflink的安裝和測試
- 2022 年 7 月 6 日
- 筆記
pyflink安装 安装前提：python3.6-3.8 参考： Installation | Apache Flink Python version (3.6, 3.7 or 3.8) is required for PyFlink. Please run the following comman …
Continue Reading