深度学习的数学基础-有助于理解神经网络的矩阵基础
神经网络的文献中会用到矩阵(matrix)。矩阵可以使数学式的表示变简洁。下面我们来梳理一下阅读文献时所需要的矩阵知识。
矩阵
矩阵是数的阵列,如下所示。
横排称为行,竖排称为列。
在上例中,矩阵由3行3列构成,称为3行3列的矩阵。
特别地,如上例所示,行数与列数相同的矩阵称为方阵。此外,如下所示的矩阵X、Y分别称为列向量、行向量,也可以简单地称为向量。
我们将矩阵A推广到更一般的情形,如下所示。
这是m行n列的矩阵。位于第i行第j列的值(称为元素)用aij表示。
有一种有名的矩阵称为单位矩阵,它是对角线上的元素aii为1、其他元素为0的方阵,通常用E表示。例如,2行2列、3行3列的单位矩阵E(称为2阶单位矩阵、3阶单位矩阵)分别如下表示。
注:E为德语中表示1的单词Ein的首字母。
矩阵相等
两个矩阵A、B相等的含义是它们对应的元素相等,记为A=B。
例1
当时,如果A=B,则x=2, y=7, u=1, v=8。
矩阵的和、差、常数倍
两个矩阵A、B的和A+B、差A-B定义为相同位置的元素的和、差所产生的矩阵。此外,矩阵的常数倍定义为各个元素的常数倍所产生的矩阵。我们通过以下例子来理解。
例2
矩阵的乘积
矩阵的乘积在神经网络的应用中特别重要。对于两个矩阵A、B,将A的第i行看作行向量,B的第j列看作列向量,将它们的内积作为第i行第j列元素,由此而产生的矩阵就是矩阵A、B的乘积AB。
请通过下面的例子弄清矩阵乘积的含义。
例3
从这个例子中可以看出,矩阵的乘法不满足交换律。也就是说,除了例外情况,以下关系式成立。
AB≠BA
而单位矩阵E与任意矩阵A的乘积都满足以下交换律。
AE=EA=A
单位矩阵是具有与1相同性质的矩阵。
Hadamard乘积
对于相同形状的矩阵A、B,将相同位置的元素相乘,由此产生的矩阵称为矩阵A、B的Hadamard乘积,用A⊙B表示。
例4
转置矩阵
将矩阵A的第i行第j列的元素与第j行第i列的元素交换,由此产生的矩阵称为矩阵A的转置矩阵(transposed matrix),用等表示。下面我们使用
。
例5
例6
注:在阅读神经网络的文献时需要注意,转置矩阵有各种各样的表示方法。
问题
时,进行以下计算。
解