深度学习的数学基础—有助于理解神经网络的数列和递推关系式

2020 年 11 月 7 日
AI
深度神经网络

熟悉了数列和递推关系式之后，就很容易理解误差反向传播法的内容了。因此，下面我们通过简单的例子来回顾一下。

数列的含义

数列是数的序列。以下是被称为偶数列的数列。
例12, 4, 6, 8, 10, …
数列中的每一个数称为项。排在第一位的项称为首项，排在第二位的项称为第2项，排在第3位的项称为第3项，以此类推，排在第n位的项称为第n项。在上面的例1中，首项为2，第2项为4。

在神经网络的世界中出现的数列是有限项的数列。这样的数列称为有穷数列。在有穷数列中，数列的最后一项称为末项。

例2考察以下有穷数列的例子：

1, 3, 5, 7, 9
这个数列的首项为1，末项为9，项数为5。

数列的通项公式

数列中排在第n位的数通常用表示，这里a是数列的名字（数列名a是随意取的，通常用一个拉丁字母或希腊字母来表示）。当想要表示整个数列时，我们使用集合的符号来表示。
将数列的第n项用一个关于n的式子表示出来，这个式子就称为该数列的通项公式。例如，例1的数列的第n项能够用如下关于n的式子写出来，这就是它的通项公式。

问题1 试求以下数列的通项公式。

1, 3, 5, 7, 9, 11, …

解通项公式

在神经网络中，神经单元的加权输入及其输出可以看成数列，因为可以像“第几层的第几个神经单元的数值是多少”这样按顺序来确定值。因此，我们用类似数列的符号来表示值，如下例所示。

数列与递推关系式

通项公式就是表示数列的项的式子。除此之外数列还存在另一种重要的表示法，就是用相邻项的关系式来表示，这种表示法称为数列的递归定义。

一般地，如果已知首项a1以及相邻两项an、an+1的关系式，就可以确定这个数列，这个关系式称为递推关系式。

例4

已知首项以及关系式，可以确定以下数列，这个关系式就是数列的递推关系式。

递推关系式可以形象地表示为多米诺骨牌。数列由首项以及前后项的关系（也就是递推关系式）确定。此外，图中的数列表示问题1的数列。

例5

已知首项以及递推关系式，求这个数列的前4项。

这样，这个数列就确定了。

数列由首项以及递推关系式确定。

问题2

请递归地定义以下数列。
2, 4, 6, 8, 10, … （这是例1的数列）

解。

联立递推关系式

我们来看看下面的例子。
例6求由以下两个递推关系式定义的数列的前3项，其中。

可以像下面这样依次计算数列的值。

像这样，将多个数列的递推关系式联合起来组成一组，称为联立递推关系式。在神经网络的世界中，所有神经单元的输入和输出在数学上都可以认为是用联立递推式联系起来的。

在箭头前端标记的是权重，神经单元的圆圈中标记的是神经单元的输出变量。于是，如果以a(z)为激活函数，为第3层各个神经元的偏置。

根据这些关系式，第3层的输出和由第2层的输出决定。也就是说，第2层的输出与第3层的输出由联立递推关系式联系起来。之后我们会介绍的误差反向传播法就是将这种递推关系式的观点应用在神经网络中。