机器学习系列 4：线性回归的梯度下降算法

• 2019 年 10 月 7 日
• 筆記

之前我们已经学过了线性回归、代价函数和梯度下降，但是他们就像一个人的胳膊和腿，只有组合在一起才会成为一个「完整的人」，这个「完整的人」就是一个机器学习算法，让我们一起来学习第一个机器学习算法吧。

这个机器学习算法叫做线性回归的梯度下降算法（Gradient Descent For Linear Regression），还记得我们学过的线性回归函数、代价函数和梯度下降算法吗？如果忘记了，让我们一起来回忆一下，如下图（左为梯度下降，右为线性回归和代价函数）：

分别求出 j=0 和 j=1 时代价函数的偏导数，

带入梯度下降算法中，得到：

这个算法也叫做「Batch」梯度下降（「Batch」 Gradient Descent ），他的特点就是每次进行梯度下降都要使用整个数据集。

恭喜你，到目前为止你已经学会了第一个机器学习算法！这个算法在解决线性回归问题中十分好用。你已经成功地在通往机器学习的道路上迈出一小步了。