線性代數精華——矩陣的特徵值與特徵向量
- 2020 年 3 月 5 日
- 筆記
點擊上方藍字，和我一起學技術。
今天和大家聊一個非常重要，在機器學習領域也廣泛使用的一個概念——矩陣的特徵值與特徵向量。
我們先來看它的定義，定義本身很簡單，假設我們有一個n階的矩陣A以及一個實數λ，使得我們可以找到一個非零向量x，滿足：
如果能夠找到的話，我們就稱λ是矩陣A的特徵值，非零向量x是矩陣A的特徵向量。
幾何意義
光從上面的式子其實我們很難看出來什麼，但是我們可以結合矩陣變換的幾何意義，就會明朗很多。
我們都知道，對於一個n維的向量x來說，如果我們給他乘上一個n階的方陣A，得到Ax。從幾何角度來說，是對向量x進行了一個線性變換。變換之後得到的向量y和原向量x的方向和長度都發生了改變。
但是，對於一個特定的矩陣A來說，總存在一些特定方向的向量x，使得Ax和x的方向沒有發生變化，只是長度發生了變化。我們令這個長度發生的變化當做是係數λ，那麼對於這樣的向量就稱為是矩陣A的特徵向量，λ就是這個特徵向量對應的特殊值。
求解過程
我們對原式來進行一個很簡單的變形：
這裡的I表示單位矩陣，如果把它展開的話，可以得到一個n元n次的齊次線性方程組。這個我們已經很熟悉了，這個齊次線性方程組要存在非零解，那麼需要係數行列式
不為零，也就是係數矩陣的秩小於n。
我們將這個行列式展開：
這是一個以λ為未知數的一元n次方程組，n次方程組在複數集內一共有n個解。我們觀察上式，可以發現λ只出現在正對角線上，顯然，A的特徵值就是方程組的解。因為n次方程組有n個複數集內的解，所以矩陣A在複數集內有n個特徵值。
我們舉個例子，嘗試一下：
假設:
那麼
，我們套入秋根公式可以得出使得
的兩個根
有：
，
。
這個結論可以推廣到所有的n都可以成立，也就是說對於一個n階的方陣A，都可以得到：
案例
我們下面來看一個例子：
我們帶入
，可以得到：
所以:
，可以看出來
當λ=2時：
解之，可以得到：
，所有(x,−x)向量都是A的特徵向量。
同理，當λ=4時：
解之，可以得到：
，所有(x,x)向量都是A的特徵向量。
使用Python求解特徵值和特徵向量
在我們之前的文章當中，我們就介紹過了Python在計算科學上的強大能力，這一次在特徵值和特徵矩陣的求解上也不例外。通過使用numpy當中的庫函數，我們可以非常輕鬆，一行程式碼，完成特徵值和特徵向量的雙重計算。
我們一起來看程式碼：
import numpy as np a = np.mat([[3, 1], [1, 3]]) lam, vet = np.linalg.eig(a)
np.linalg.eig 方法會返回兩個值，第一個返回值是矩陣的特徵值，第二個返回值是矩陣的特徵向量，我們看下結果：
這裡的特徵向量為什麼是0.707呢？因為Python自動幫我們做好了單位化，返回的向量都是單位向量，不得不說實在是太貼心了。
總結
關於矩陣的特徵值和特徵向量的介紹到這裡就結束了，對於演算法工程師而言，相比於具體怎麼計算特徵向量以及特徵值。理解清楚它們的概念和幾何意義更加重要，因為這兩者在機器學習的領域當中廣泛使用，在許多降維演算法當中，大量使用矩陣的特徵值和特徵向量。
對於降維演算法的原理，這裡不過多贅述，我們會在以後的文章當中更新相關內容。感興趣的同學可以小小期待一下。
文章到這裡就結束了，這也是線性代數專題的最後一篇文章，短短六篇文章當然不能涵蓋線性代數這門學科當中的所有知識點，但實際當中常用的內容基本上已經都包括了。下周一我們將開始全新的Python專題，希望大家多多期待。
如果覺得有所收穫，請順手點個在看或者轉發吧，你們的支援是我最大的動力。
