到底啥是希爾伯特空間和再生希爾伯特空間

2020 年 12 月 16 日
AI

首先從我們最常見的歐幾里得空間說起，實際上，歐幾里得空間，希爾伯特空間，巴拿赫空間或者是拓撲空間都屬於函數空間。函數空間 = 元素 + 規則 ，即一個函數空間由元素與元素所滿足的規則定義，而要明白這些函數空間的定義首先得從距離，範數，內積，完備性等基本概念說起。

1、線性空間，在線性空間中，元素就是向量（單維、多維、單元素等），規則說白了就是運算，在線性空間中，我們只能對向量（元素）進行加法和數乘（不是向量乘是常量乘向量）計算，例如對於[1,2]和[2,3]進行求和運算得到[3,4]，或者進行[1,2]*3=[3,6]這樣的計算；

線性空間是下面介紹的空間的基本空間，我們通過擴展規則使得線性空間進化為其它的空間

2、距離（度量）空間，比如我們i想要知道[1,2]和[2,3]之間的距離是多少，此時我們就需要引入距離的概念，此時從線性空間上升到了距離空間，在這個空間中，元素還是向量，但是規則變多了，我們從基本的加法和數乘計算擴展到了距離計算，這裡的距離計算就有很多了，比如歐式距離、曼哈頓距離、切比雪夫距離等等；

3、內積空間，比如我們想知道[1,2]和[2,3]這兩個元素（向量）的餘弦相似度，此時我們要擴充一個內積的規則，即向量之間可以進行內積計算，從而得到兩個元素的夾角餘弦值從而推出夾角大小；

4、賦范線性空間，比如我們想知道[1,2]這個向量的長度是多少，就需要對範數計算進行定義，因為向量在標準正交基的條件下的的長度計算其實就是L2範數

5、歐式空間

定義了內積的有限維線性空間

有限維：設A是線性空間E的一個線性無關子集，我們設A的維度為dimE。當dimE< +∞時，稱E為有限維的，否則稱E為無限維的，即歐式空間中沒有無限維的計算的概念；

6、完備空間

完備空間涉及到完備性的概念，完備性是在極限的基礎上衍生的概念。例如在有理數集上的一個序列{1，1.4，1.41，1.414，1.4142…}，可知此序列極限為2根號2，而根號2為無理數，不屬於有理數集，即有理數集不具備完備性，也就是有理數集不具備極限的概念，因為有理數集上的數都是確定的；

完備空間的提出主要是為了研究收斂性（極限）問題，例如我們常見的機器學習演算法幾乎都涉及到收斂的問題，如邏輯回歸的梯度下降法的參數訓練就涉及到收斂性的問題，而這樣的計算規則，在歐式空間中是不具備的；

7、希爾伯特空間

完備+內積空間，即完備的內積空間，在這個空間中，我們可以像歐式距離一樣定義內積計算的規則，也可以定義收斂性的計算規則；

在數學中，希爾伯特空間是歐幾里德空間的一個推廣，其不再局限於有限維的情形。與歐幾里德空間相仿，希爾伯特空間也是一個內積空間，其上有距離和角的概念（及由此引申而來的正交性與垂直性的概念）。此外，希爾伯特空間還是一個完備的空間，其上所有的柯西序列等價於收斂序列，從而微積分中的大部分概念都可以無障礙地推廣到希爾伯特空間中。希爾伯特空間為基於任意正交系上的多項式表示的傅立葉級數和傅立葉變換提供了一種有效的表述方式，而這也是泛函分析的核心概念之一。希爾伯特空間是公式化數學和量子力學的關鍵性概念之一。

我們需要知道的是，一般來說對於普通的向量是沒有所謂的極限的概念的，我們比較常見的極限的計算，例如：

極限計算針對的一般是函數，因此，希爾伯特空間一般是指函數空間,我們在歐幾里得空間只能定義向量的內積計算，而希爾伯特空間可以定義函數的內積計算，

函數內積的計算的定義：

我們有兩個函數f(x)與g(x)與區間[a,b]，且兩函數在該區間上可積且平方可積。則積分

我們稱之為函數的內積，函數的內積常記作<f(x),g(x)>，如果是離散的函數則我們可以直接：

$\sum_{}^{}{f(x)*g(x)}$ 用矩陣表示就是F(X)*G(X)

是不是似曾相似？實際上這和svm中的核函數的概念是重合的，這裡我們舉一個簡單的例子，假設有一個核函數為：

$P(x,y)=(x^2,\sqrt{2}xy,y^2)$

其中x和y表示二維空間中的點的橫縱坐標，這裡這個核函數實現的功能是將一個二維的點映射到三維，我們設V1=(x1,y1),V2=(x2,y2)，那麼這裡我們就可以定義函數的內積計算：

$\begin{align} <P(v_1),P(v_2)> &= \, <(x_1^2,\sqrt{2}x_1y_1,y_1^2),(x_2^2,\sqrt{2}x_2y_2,y_2^2)> \\ &= \, x_1^2x_2^2 + 2x_1x_2y_1y_2+y_1^2y_2^2 \\ &= \, (x_1x_2 + y_1y_2)^2 \\ &= \, \, <v_1,v_2>^2 \\ &= \, K(v_1,v_2) \end{align}$

8、再生核希爾伯特空間

再生核希爾伯特空間是支援監督學習（SVM）等監督學習模型的理論基礎，實際上再生核希爾伯特空間就是是由核函數構成的希爾伯特空間，這裡的再生值得是再生性，這裡的核函數比如LibSVM中自帶的幾類：

1) 線性： $K(v_1,v_2)=<v_1,v_2>$

2) 多項式： $K(v_1,v_2)=(\gamma<v_1,v_2>+c)^n$

3) 高斯核： $K(v_1,v_2)=\exp(-\gamma||v_1-v_2||^2)$

4) Sigmoid： $K(v_1,v_2)=\tanh(\gamma<v_1,v_2>+c)$

設 $\mathcal{X}$ 是輸入空間(歐式空間 $R^n$ 的子集或離散集合)，又設 $\mathcal{H}$ 是特徵空間(希爾伯特空間)，如果存在一個 $\mathcal{X}$ 到 $\mathcal{H}$ 的映射 $\phi(x): \mathcal{X} \to \mathcal{H}$ 使得對所有 $x,z \in \mathcal{X}$ ，函數 $K(x,z)$ 滿足條件 $K(x,z)=\phi(x) \cdot \phi(z)$ 則稱 $K(x,z)$ 為核函數， $\phi(x)$ 為映射函數，式中 $\phi(x) \cdot \phi(z)$ 為 $\phi(x)$ 和 $\phi(z)$ 的內積。