深度學習的數學基礎—神經網路中經常用到的∑符號

∑是一個需要下功夫來熟悉的符號。如果不理解∑,在閱讀神經網路相關的文獻時就比較麻煩。這是因為將加權輸入用∑符號來表示會簡潔得多。下面我們就來複習一下這個∑符號。

∑符號的含義

∑符號可以簡潔地表示數列的總和。除了表示總和以外,並沒有別的含義,然而這樣過於簡潔的表示經常使神經網路的初學者感到苦惱。

註:∑為希臘字母,讀作Sigma,對應拉丁字母S,即Sum(總和)的首字母。

對於數列{an}, ∑符號的定義式如下所示。
image.png

以上用∑符號表示的和之中,字母k並不具有實質的含義。實際上,在上式的右邊沒有出現字母k, k在這裡僅用於表明關於它求和。因此,這個字母並非必須是k,在數學上通常用i、j、k、l、m、n。

##例1
image.png

例2

image.png

例3

image.png

●∑符號的性質

∑符號具有線性性質。這是與微積分共通的性質,可以在式子變形中使用。
image.png

註:用語言來表述的話,就是「和的∑為∑的和」「常數倍的∑為∑的常數倍」。這與導數公式「和的導數為導數的和」「常數倍的導數為導數的常數倍」是一致的(之後的博文會詳細講解)。

證明根據∑符號的定義,有
image.png

下面我們通過例子來驗證式(Ⅱ)。

例4

image.png

問題證明下式成立。
image.png

image.png