機器學習中的數學
這部分介紹一些機器學習中常用的線性代數知識點包括向量的範數和矩陣的範數及其相關性質。
1.1 向量和範數
這一部分將通過H\mathbb HH來定義一個維數可能是無限的向量空間。
1.1.1 範數
定義1.1： 映射Φ:H→R+\Phi:\mathbb H\rightarrow\mathbb R_+Φ:H→R+被認為是H\mathbb HH上的範數如果它滿足如下公理：
- 非負性（definiteness）：∀x∈H,Φ(x)=0⇔x=0,Φ(x)>0⇔x≠0\forall \mathbf x\in\mathbb H,\Phi(\mathbf x)=0\Leftrightarrow\mathbf x=\mathbf 0,\Phi(\mathbf x)>0\Leftrightarrow\mathbf x\ne0∀x∈H,Φ(x)=0⇔x=0,Φ(x)>0⇔x=0；
- 同質性（齊次性）（homogeneity）：∀x∈H,∀α∈R,Φ(αx)=∣α∣Φ(x)\forall \mathbf x\in\mathbb H,\forall{\alpha}\in{\mathbb{R}},\Phi(\alpha\mathbf{x})=|\alpha|\Phi(\mathbf x)∀x∈H,∀α∈R,Φ(αx)=∣α∣Φ(x)；
- 三角不等式（triangle inequality）：∀x,y∈H,Φ(x+y)≤Φ(x)+Φ(y)\forall \mathbf x,\mathbf y\in\mathbb H,\Phi(\mathbf x+\mathbf y)\le\Phi(\mathbf x)+\Phi(\mathbf y)∀x,y∈H,Φ(x+y)≤Φ(x)+Φ(y)。
