【故障公告】數據庫服務器 CPU 100% 引髮網站故障

悄悄地它又突然來了 —— 數據庫服務器 CPU 100% 問題,上次光臨時間是 3-30 8:48,這次是 4-28 9:41。

這次我們做出了快速反應,發現後立即進行主備切換,這次一次切換成功,CPU 很快恢復正常。

但是,這次來的「真」是時候(訪問高峰),雖然數據庫 CPU 恢復正常,但高並發下的博客站點在數據庫恢復後來不及建緩存,大量請求503或者訪問緩慢,估計今天整個上午都扛不住。

幸運的是,我們估計錯了,10:15左竟然抗住了,博客站點開始恢復正常。

但是,就在我們準備發佈故障公告時,這位不速之客竟然來了個回馬槍,10:19 它又來了。。。

切換後的備庫服務器又 CPU 100%,趕緊再次進行主備切換,切換回原來的數據庫服務器,CPU 恢復正常。

但是,二次光臨「更」是時候,是更高的訪問高峰,估計今天上午博客站點肯定是扛不住了,只能幹等熬過訪問高峰。

幸運的是,我們再次估計錯了,11:10左右竟然扛住了,博客站點恢復了正常。

非常非常抱歉,今天上午的2次故障給大家帶來了很大的麻煩,請大家諒解。

對於這位數據庫 CPU 100% 的不速之客為什麼會光臨園子,我們不知道來由,準備留待以後排查,目前我們要集中力量審核博文與開發新的審核系統(詳見檢討書)。

這段時間,我們已經從開發者的服務者墮落為開發者的麻煩製作者,再次請大家諒解。

身處園子的這段黑暗歲月,我們沒有絲毫的退縮,在審核過程中,我們讀到了一篇鼓舞我們的博文 —— 淺談「艱難困苦,玉汝於成」