深度學習的數學基礎-有助於理解神經網絡的矩陣基礎

神經網絡的文獻中會用到矩陣(matrix)。矩陣可以使數學式的表示變簡潔。下面我們來梳理一下閱讀文獻時所需要的矩陣知識。

矩陣

矩陣是數的陣列,如下所示。
image.png

橫排稱為行,豎排稱為列。

在上例中,矩陣由3行3列構成,稱為3行3列的矩陣。

特別地,如上例所示,行數與列數相同的矩陣稱為方陣。此外,如下所示的矩陣X、Y分別稱為列向量行向量,也可以簡單地稱為向量
image.png

我們將矩陣A推廣到更一般的情形,如下所示。
image.png

這是m行n列的矩陣。位於第i行第j列的值(稱為元素)用aij表示。

有一種有名的矩陣稱為單位矩陣,它是對角線上的元素aii為1、其他元素為0的方陣,通常用E表示。例如,2行2列、3行3列的單位矩陣E(稱為2階單位矩陣、3階單位矩陣)分別如下表示。
image.png

註:E為德語中表示1的單詞Ein的首字母。

矩陣相等

兩個矩陣A、B相等的含義是它們對應的元素相等,記為A=B。

例1
image.png時,如果A=B,則x=2, y=7, u=1, v=8。

矩陣的和、差、常數倍

兩個矩陣A、B的和A+B、差A-B定義為相同位置的元素的和、差所產生的矩陣。此外,矩陣的常數倍定義為各個元素的常數倍所產生的矩陣。我們通過以下例子來理解。

例2
image.png

矩陣的乘積

矩陣的乘積在神經網絡的應用中特別重要。對於兩個矩陣A、B,將A的第i行看作行向量,B的第j列看作列向量,將它們的內積作為第i行第j列元素,由此而產生的矩陣就是矩陣A、B的乘積AB。
image.png

請通過下面的例子弄清矩陣乘積的含義。

例3
image.png

從這個例子中可以看出,矩陣的乘法不滿足交換律。也就是說,除了例外情況,以下關係式成立。
AB≠BA

而單位矩陣E與任意矩陣A的乘積都滿足以下交換律。
AE=EA=A
單位矩陣是具有與1相同性質的矩陣。

Hadamard乘積

對於相同形狀的矩陣A、B,將相同位置的元素相乘,由此產生的矩陣稱為矩陣A、B的Hadamard乘積,用A⊙B表示。

例4
image.png

轉置矩陣

將矩陣A的第i行第j列的元素與第j行第i列的元素交換,由此產生的矩陣稱為矩陣A的轉置矩陣(transposed matrix),用image.png等表示。下面我們使用image.png

例5
image.png

例6
image.png

註:在閱讀神經網絡的文獻時需要注意,轉置矩陣有各種各樣的表示方法。

問題
image.png時,進行以下計算。
image.png


image.png