機器學習系列10：線性回歸與邏輯回歸的正則化

• 2019 年 10 月 7 日
• 筆記

線性回歸的正則化

還記得在線性回歸中我們有哪兩種方法去求代價函數的最小值嗎？當然是梯度下降和正規方程了。讓我們來複習一下線性回歸中梯度下降演算法，如下：

其中黃色部分就是代價函數對參數 θ 的偏導數。當我們正則化代價函數後，代價函數發生了改變：

相應地，偏導數也會改變，得到正則化後的梯度下降演算法：

把其中的 θ_j 提出來，簡化後：

那正規方程正則化後呢？就成了下面這樣：

邏輯回歸的正則化

邏輯回歸的代價函數為：

與線性回歸的正則化類似，邏輯回歸的正則化就是在邏輯回歸的代價函數中加入對參數的懲罰：

正則化後得到的梯度下降演算法與線性回歸中非常像，只是假設函數不同而已。