深度學習的數學基礎—神經網路中經常用到的∑符號
∑是一個需要下功夫來熟悉的符號。如果不理解∑,在閱讀神經網路相關的文獻時就比較麻煩。這是因為將加權輸入用∑符號來表示會簡潔得多。下面我們就來複習一下這個∑符號。
∑符號的含義
∑符號可以簡潔地表示數列的總和。除了表示總和以外,並沒有別的含義,然而這樣過於簡潔的表示經常使神經網路的初學者感到苦惱。
註:∑為希臘字母,讀作Sigma,對應拉丁字母S,即Sum(總和)的首字母。
對於數列{an}, ∑符號的定義式如下所示。
以上用∑符號表示的和之中,字母k並不具有實質的含義。實際上,在上式的右邊沒有出現字母k, k在這裡僅用於表明關於它求和。因此,這個字母並非必須是k,在數學上通常用i、j、k、l、m、n。
##例1
例2
例3
●∑符號的性質
∑符號具有線性性質。這是與微積分共通的性質,可以在式子變形中使用。
註:用語言來表述的話,就是「和的∑為∑的和」「常數倍的∑為∑的常數倍」。這與導數公式「和的導數為導數的和」「常數倍的導數為導數的常數倍」是一致的(之後的博文會詳細講解)。
證明根據∑符號的定義,有
下面我們通過例子來驗證式(Ⅱ)。
例4
問題證明下式成立。
解