機器學習系列 4：線性回歸的梯度下降演算法

• 2019 年 10 月 7 日
• 筆記

之前我們已經學過了線性回歸、代價函數和梯度下降，但是他們就像一個人的胳膊和腿，只有組合在一起才會成為一個「完整的人」，這個「完整的人」就是一個機器學習演算法，讓我們一起來學習第一個機器學習演算法吧。

這個機器學習演算法叫做線性回歸的梯度下降演算法（Gradient Descent For Linear Regression），還記得我們學過的線性回歸函數、代價函數和梯度下降演算法嗎？如果忘記了，讓我們一起來回憶一下，如下圖（左為梯度下降，右為線性回歸和代價函數）：

分別求出 j=0 和 j=1 時代價函數的偏導數，

帶入梯度下降演算法中，得到：

這個演算法也叫做「Batch」梯度下降（「Batch」 Gradient Descent ），他的特點就是每次進行梯度下降都要使用整個數據集。

恭喜你，到目前為止你已經學會了第一個機器學習演算法！這個演算法在解決線性回歸問題中十分好用。你已經成功地在通往機器學習的道路上邁出一小步了。