深度學習筆記系列（一）：導數，梯度與方嚮導數

• 2019 年 12 月 1 日
• 筆記

最近看論文的時候會感覺自己有很多基礎的部分不是很紮實，所以準備系統地整理一下這些知識，並且記錄下來。

這一部分的筆記之後會包括高等數學，線性代數，概率論，機器學習，信息論深度學習的相關知識以及其應用，之後也會慢慢的更新。

第一篇講的是導數，梯度和方嚮導數。

導數

單變量導數的一階導數

對於單變量來說，其導數的計算方法如下：

導數代表的意義是函數在x處的變化率，當導數為0時x可能為函數的鞍點或者極值點。

單變量函數的二階導數

二階導數代表的意義是函數在x點處導數的變化率。

二階導數的計算方式如下：

二階導數為0，說明該點的導數變化率為0。

偏導數

當一個函數有多個變量，而你只想計算函數與某個變量的變化關係時，就需要計算偏導數。

偏導數的計算方式如下：

當函數在某點

的所有偏導數都為0時，則該點為函數的極值點或者鞍點。

梯度

在機器學習的學習中，梯度這一詞想必大家都不陌生，多元函數的所有偏導數構成的向量即為梯度。

梯度的本意是一個向量，表示某一函數在該點處的方嚮導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大，為該梯度的模。

方嚮導數

從上面的內容大家可以看到偏導數只能描繪x，y方向上函數的變化率，但是在實際的使用過程中，我們想知道函數在各個方向上的變化率，於是就有了方嚮導數的概念。

方嚮導數是一個標量，方嚮導數定義了點 x 處沿向量 v 方向變化時，對應的函數的瞬時變化率。其中v為：

將v變為單位向量v'後，通過計算：

就可以得到函數在這個方向上的方嚮導數。

所有的文章整理後會發佈在 https://github.com/linhaow/DLnotes