机器学习中的数学
这部分介绍一些机器学习中常用的线性代数知识点包括向量的范数和矩阵的范数及其相关性质。
1.1 向量和范数
这一部分将通过H\mathbb HH来定义一个维数可能是无限的向量空间。
1.1.1 范数
定义1.1： 映射Φ:H→R+\Phi:\mathbb H\rightarrow\mathbb R_+Φ:H→R+被认为是H\mathbb HH上的范数如果它满足如下公理：
- 非负性（definiteness）：∀x∈H,Φ(x)=0⇔x=0,Φ(x)>0⇔x≠0\forall \mathbf x\in\mathbb H,\Phi(\mathbf x)=0\Leftrightarrow\mathbf x=\mathbf 0,\Phi(\mathbf x)>0\Leftrightarrow\mathbf x\ne0∀x∈H,Φ(x)=0⇔x=0,Φ(x)>0⇔x=0；
- 同质性（齐次性）（homogeneity）：∀x∈H,∀α∈R,Φ(αx)=∣α∣Φ(x)\forall \mathbf x\in\mathbb H,\forall{\alpha}\in{\mathbb{R}},\Phi(\alpha\mathbf{x})=|\alpha|\Phi(\mathbf x)∀x∈H,∀α∈R,Φ(αx)=∣α∣Φ(x)；
- 三角不等式（triangle inequality）：∀x,y∈H,Φ(x+y)≤Φ(x)+Φ(y)\forall \mathbf x,\mathbf y\in\mathbb H,\Phi(\mathbf x+\mathbf y)\le\Phi(\mathbf x)+\Phi(\mathbf y)∀x,y∈H,Φ(x+y)≤Φ(x)+Φ(y)。
