Doris開發手記4：倍速性能提升，向量化導入的性能調優實踐
- 2022 年 10 月 21 日
- 筆記
最近居家中，对自己之前做的一些工作进行总结。正好有Doris社区的小伙伴吐槽向量化的导入性能表现并不是很理想，就借这个机会对之前开发的向量化导入的工作进行了性能调优，取得了不错的优化效果。借用本篇手记记录下一些性能优化的思路，抛砖引玉，希望大家多多参与到性能优化的工作总来。 1.看起来很慢的向量化导 …
Continue Reading基於Ansible實現Apache Doris快速部署運維指南
- 2022 年 4 月 20 日
- 筆記
Doris Ansible 使用指南 Apache Doris 介绍 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。 Apache …
Continue Reading
[Apache Doris] Apache Doris 元數據設計及DDL操作源碼閱讀
- 2021 年 11 月 18 日
- 筆記
元数据设计 如上图，Doris 的元数据主要存储4类数据： 用户数据信息。包括数据库、表的 Schema、分片信息等。 各类作业信息。如导入作业，Clone 作业、SchemaChange 作业等。 用户及权限信息 集群及节点信息 元数据目录 元数据目录通过 FE 的配置项 meta_dir 指定。 …
Continue Reading
Doris開發手記3：利用CoreDump文件快速定位Doris的查詢問題
- 2021 年 7 月 15 日
- 筆記
Apache Doris的BE部分是由C++编写，当出现一些内存越界，非法访问的问题时会导致BE进程的Crash。这部分的问题常常较难排查，同时也很难快速定位到对应的触发SQL，给使用者带来较大的困扰。所以下面会介绍通过Linux的CoreDump快速定位到问题SQL，并复现问题的方式。 1.查看日 …
Continue Reading
Doris開發手記2：用SIMD指令優化存儲層的熱點程式碼
- 2021 年 7 月 9 日
- 筆記
最近一直在进行Doris的向量化计算引擎的开发工作，在进行CPU热点排查时，发现了存储层上出现的CPU热点问题。于是尝试通过SIMD的指令优化了这部分的CPU热点代码，取得了较好的性能优化效果。借用本篇手记记录下问题的发现，解决过程一些对于C/C++程序性能问题的一些解决思路，希望各位也能有所收获。 …
Continue Reading
Doris開發手記1：解決蛋疼的MySQL 8.0連接問題
- 2021 年 2 月 15 日
- 筆記
笔者作为Apache Doris的开发者，平时感觉相关Doris的文章写的很少。主要是很多时候不知道应该去记录一些怎么样的问题，感觉写的不好就会很慌张。新的一年，希望记录自己在Doris开发过程之中所遇到一些有意思的事情。（ 只希望能坚持下来，别打脸~~ ） 言归正传，回到本篇想聊的问一个问题，笔者 …
Continue Reading