机器学习特训营_3_线性代数(一)

大纲

从标量开始,认识向量、矩阵和张量

矩阵和向量运算

单位矩阵、逆矩阵

标量(scalar)

一个单独的数:自然数、整数、实数… …

用 斜体的小写字母 表示标量。

如,“令s∈R表示一条线的斜率“定义实数标量;“令n∈N表示元素的数目“定义自然数标量。

向量(vector)

有序列的一列数,一般指纵向量

通常用粗体的小写变量名称表示向量,如x = [x_1 … x_n]T(T是转置符号,代表行向量转置的纵向量,应该是纵向的一组数),向量的元素用带脚标的斜体表示,如向量x的第一个元素x_1,第二个元素x_2

向量的一组元素,定义集合S={1,3,6},然后写作X_s

矩阵(matrix)

二维数组

通常用粗体的大些变量名称表示矩阵,如**A
image.png

A_i,j表示矩阵的第i行,第j列的元素

f(A)_i,j 表示函数f作用在A上输出矩阵的第i行第j列元素。

实数矩阵高度为m,宽度为n,那么我们说image.png

张量(tensor)

超过二维的数组

比如shape(2,3,4)的张量

Tensorflow:张量流

标量,向量,矩阵也都是特殊的张量

转置

以对角线为轴的镜像

image.png

向量可以看作只有一列的矩阵,其转置可以看作只有一个行的矩阵,如定义一个向量:image.png

标量只有一个元素,转置等于其本身,image.png

数(标量)乘矩阵

image.png

矩阵乘法

image.png
image.png
image.png

矩阵乘法满足
image.png

I是单位矩阵,即角线都为1,其他元素都为0的矩阵。

元素对应乘积 Hadamard product

image.pngimage.png

点积

image.png

单位矩阵

单位矩阵的结构很简单:所有沿主对角线的元素都是1,而所有其他位置的元素都是0.
image.png

性质: 任意向量、矩阵和单位矩阵相乘,都不会改变。

一般将保持n维向量不变的单位矩阵记作:image.png

形式上
image.png

线性方程组

image.png
image.png

矩阵向量乘积符号为这种形式的方程提供了更紧凑的表示。

逆矩阵

image.png