【故障公告】取代 memcached 的 redis 出现问题造成网站故障
- 2022 年 6 月 23 日
- 笔记
6月19日开始，我们将博客站点的缓存服务器从 memcached 换成了 redis，稳定运行了3天，今天上午访问高峰突 …
Continue Reading【故障公告】没有龙卷风，k8s集群翻船3次，投用双集群恢复
- 2022 年 3 月 16 日
- 笔记
今天没有龙卷风（异常的高并发请求），故障却依然出现，问题非常奇怪。 某种异常情况会造成短时间内， k8s 集群中大量 p …
Continue Reading
【故障公告】龙卷风继续袭击，服务器们顽强抵抗
- 2022 年 3 月 14 日
- 笔记
没有一家天气预报预报最近会有龙卷风，园子最近却遭遇多次龙卷风袭击，而且风力飓大，很是无奈。 春天来了，万物复苏，连爬虫们 …
Continue Reading
【故障公告】龙卷风来袭：突增的并发请求，撑不住的CPU
- 2022 年 3 月 10 日
- 笔记
（上图是数据库连接数监控图） 非常抱歉，今天下午 16:50-17:40 期间，一场龙卷风突袭园子，突增的并发请求狂卷博 …
Continue Reading
【故障公告】1个存储过程拖垮整个数据库
- 2022 年 2 月 21 日
- 笔记
非常抱歉，今天下午 15:00-16:00 期间，由于查询网站分类博文数的1个存储过程缓存了性能极差的执行计划，造成全表 …
Continue Reading
【故障公告】k8s 开船记：增加控制舱（control-plane）造成的翻船
- 2022 年 2 月 20 日
- 笔记
春节期间我们更换了 kubernetes 生产集群，旧集群的 kubernetes 版本是 1.17.0，新集群版本是 …
Continue Reading
【故障公告】周五下午的一次突发故障
- 2022 年 2 月 18 日
- 笔记
非常抱歉，今天下午 16:30-17:15 期间，由于出现突发故障，造成园子无法正常访问，由此给您带来麻烦，请您谅解。 …
Continue Reading
【故障公告】数据库服务器 CPU 100% 引发全站故障
- 2022 年 1 月 31 日
- 笔记
今天 11:12-12:03 期间，园子使用的阿里云 RDS 实例（SQL Server2016 标准版，16核CPU） …
Continue Reading
【故障公告】突然猛增的巨量请求冲垮一共92核CPU的k8s集群
- 2021 年 11 月 16 日
- 笔记
非常抱歉，今天下午2点左右开始，博客站点突然猛增的巨量请求让k8s集群的节点服务器不堪重负，造成网站无法正常访问，由此给 …
Continue Reading【故障公告】redis 服务器宕机引发博客站点故障
- 2021 年 7 月 14 日
- 笔记
非常抱歉，今天下午 17:10~17:40 左右，由于博客系统所使用的 redis 服务器宕机，造成博客站点无法正常访问 …
Continue Reading