機器學習特訓營_3_線性代數(一)

大綱

從標量開始,認識向量、矩陣和張量

矩陣和向量運算

單位矩陣、逆矩陣

標量(scalar)

一個單獨的數:自然數、整數、實數… …

用 斜體的小寫字母 表示標量。

如,「令s∈R表示一條線的斜率「定義實數標量;「令n∈N表示元素的數目「定義自然數標量。

向量(vector)

有序列的一列數,一般指縱向量

通常用粗體的小寫變數名稱表示向量,如x = [x_1 … x_n]T(T是轉置符號,代表行向量轉置的縱向量,應該是縱向的一組數),向量的元素用帶腳標的斜體表示,如向量x的第一個元素x_1,第二個元素x_2

向量的一組元素,定義集合S={1,3,6},然後寫作X_s

矩陣(matrix)

二維數組

通常用粗體的大些變數名稱表示矩陣,如**A
image.png

A_i,j表示矩陣的第i行,第j列的元素

f(A)_i,j 表示函數f作用在A上輸出矩陣的第i行第j列元素。

實數矩陣高度為m,寬度為n,那麼我們說image.png

張量(tensor)

超過二維的數組

比如shape(2,3,4)的張量

Tensorflow:張量流

標量,向量,矩陣也都是特殊的張量

轉置

以對角線為軸的鏡像

image.png

向量可以看作只有一列的矩陣,其轉置可以看作只有一個行的矩陣,如定義一個向量:image.png

標量只有一個元素,轉置等於其本身,image.png

數(標量)乘矩陣

image.png

矩陣乘法

image.png
image.png
image.png

矩陣乘法滿足
image.png

I是單位矩陣,即角線都為1,其他元素都為0的矩陣。

元素對應乘積 Hadamard product

image.pngimage.png

點積

image.png

單位矩陣

單位矩陣的結構很簡單:所有沿主對角線的元素都是1,而所有其他位置的元素都是0.
image.png

性質: 任意向量、矩陣和單位矩陣相乘,都不會改變。

一般將保持n維向量不變的單位矩陣記作:image.png

形式上
image.png

線性方程組

image.png
image.png

矩陣向量乘積符號為這種形式的方程提供了更緊湊的表示。

逆矩陣

image.png