深度學習的數學基礎-有助於理解神經網絡的矩陣基礎
神經網絡的文獻中會用到矩陣(matrix)。矩陣可以使數學式的表示變簡潔。下面我們來梳理一下閱讀文獻時所需要的矩陣知識。
矩陣
矩陣是數的陣列,如下所示。
橫排稱為行,豎排稱為列。
在上例中,矩陣由3行3列構成,稱為3行3列的矩陣。
特別地,如上例所示,行數與列數相同的矩陣稱為方陣。此外,如下所示的矩陣X、Y分別稱為列向量、行向量,也可以簡單地稱為向量。
我們將矩陣A推廣到更一般的情形,如下所示。
這是m行n列的矩陣。位於第i行第j列的值(稱為元素)用aij表示。
有一種有名的矩陣稱為單位矩陣,它是對角線上的元素aii為1、其他元素為0的方陣,通常用E表示。例如,2行2列、3行3列的單位矩陣E(稱為2階單位矩陣、3階單位矩陣)分別如下表示。
註:E為德語中表示1的單詞Ein的首字母。
矩陣相等
兩個矩陣A、B相等的含義是它們對應的元素相等,記為A=B。
例1
當時,如果A=B,則x=2, y=7, u=1, v=8。
矩陣的和、差、常數倍
兩個矩陣A、B的和A+B、差A-B定義為相同位置的元素的和、差所產生的矩陣。此外,矩陣的常數倍定義為各個元素的常數倍所產生的矩陣。我們通過以下例子來理解。
例2
矩陣的乘積
矩陣的乘積在神經網絡的應用中特別重要。對於兩個矩陣A、B,將A的第i行看作行向量,B的第j列看作列向量,將它們的內積作為第i行第j列元素,由此而產生的矩陣就是矩陣A、B的乘積AB。
請通過下面的例子弄清矩陣乘積的含義。
例3
從這個例子中可以看出,矩陣的乘法不滿足交換律。也就是說,除了例外情況,以下關係式成立。
AB≠BA
而單位矩陣E與任意矩陣A的乘積都滿足以下交換律。
AE=EA=A
單位矩陣是具有與1相同性質的矩陣。
Hadamard乘積
對於相同形狀的矩陣A、B,將相同位置的元素相乘,由此產生的矩陣稱為矩陣A、B的Hadamard乘積,用A⊙B表示。
例4
轉置矩陣
將矩陣A的第i行第j列的元素與第j行第i列的元素交換,由此產生的矩陣稱為矩陣A的轉置矩陣(transposed matrix),用等表示。下面我們使用。
例5
例6
註:在閱讀神經網絡的文獻時需要注意,轉置矩陣有各種各樣的表示方法。
問題
時,進行以下計算。
解