深度学习的数学基础-有助于理解神经网络的矩阵基础

神经网络的文献中会用到矩阵(matrix)。矩阵可以使数学式的表示变简洁。下面我们来梳理一下阅读文献时所需要的矩阵知识。

矩阵

矩阵是数的阵列,如下所示。
image.png

横排称为行,竖排称为列。

在上例中,矩阵由3行3列构成,称为3行3列的矩阵。

特别地,如上例所示,行数与列数相同的矩阵称为方阵。此外,如下所示的矩阵X、Y分别称为列向量行向量,也可以简单地称为向量
image.png

我们将矩阵A推广到更一般的情形,如下所示。
image.png

这是m行n列的矩阵。位于第i行第j列的值(称为元素)用aij表示。

有一种有名的矩阵称为单位矩阵,它是对角线上的元素aii为1、其他元素为0的方阵,通常用E表示。例如,2行2列、3行3列的单位矩阵E(称为2阶单位矩阵、3阶单位矩阵)分别如下表示。
image.png

注:E为德语中表示1的单词Ein的首字母。

矩阵相等

两个矩阵A、B相等的含义是它们对应的元素相等,记为A=B。

例1
image.png时,如果A=B,则x=2, y=7, u=1, v=8。

矩阵的和、差、常数倍

两个矩阵A、B的和A+B、差A-B定义为相同位置的元素的和、差所产生的矩阵。此外,矩阵的常数倍定义为各个元素的常数倍所产生的矩阵。我们通过以下例子来理解。

例2
image.png

矩阵的乘积

矩阵的乘积在神经网络的应用中特别重要。对于两个矩阵A、B,将A的第i行看作行向量,B的第j列看作列向量,将它们的内积作为第i行第j列元素,由此而产生的矩阵就是矩阵A、B的乘积AB。
image.png

请通过下面的例子弄清矩阵乘积的含义。

例3
image.png

从这个例子中可以看出,矩阵的乘法不满足交换律。也就是说,除了例外情况,以下关系式成立。
AB≠BA

而单位矩阵E与任意矩阵A的乘积都满足以下交换律。
AE=EA=A
单位矩阵是具有与1相同性质的矩阵。

Hadamard乘积

对于相同形状的矩阵A、B,将相同位置的元素相乘,由此产生的矩阵称为矩阵A、B的Hadamard乘积,用A⊙B表示。

例4
image.png

转置矩阵

将矩阵A的第i行第j列的元素与第j行第i列的元素交换,由此产生的矩阵称为矩阵A的转置矩阵(transposed matrix),用image.png等表示。下面我们使用image.png

例5
image.png

例6
image.png

注:在阅读神经网络的文献时需要注意,转置矩阵有各种各样的表示方法。

问题
image.png时,进行以下计算。
image.png


image.png