線性代數 | 最小二乘法的直觀理解
兩分鐘理解最小二乘法！
最小二乘法的使用場景
在線性方程組 \(Ax=b\) 無解時，用最小二乘法來求近似解。
最小二乘法的公式
\(A^TAx=A^Tb\) 的解 \(x’\)（這個方程組一定有解），即為最小二乘法的近似解。
直觀理解
直觀上，\(Ax=b\) 有解 \(\iff\) b 落在 A 的列向量組成的超平面上。求解 \(Ax=b\)，就是求一組線性組合的係數 x，使得 A 的列向量的線性組合，正好落在 b 的位置。
反之，\(Ax=b\) 無解 \(\iff\) b 不落在 A 列向量的超平面上。此時，在 A 超平面上尋找離 b 最近的點，是一個求近似解的思路。
如圖所示，假設 P 點代表 b 的位置，我們就要尋找 O 點，使得 PO 連線垂直於超平面 A，作為近似解 \(x』\)。
O 點坐標為 \(Ax’\)，P 點坐標為 \(b\)，所以向量 PO 為兩個坐標相減（\(Ax’-b\)）。我們希望這個向量垂直於超平面 A，也就是說，垂直於組成超平面的所有列向量，即 A 的所有列向量。
兩個向量 \(d_1,d_2\) 相互垂直 \(\iff\) 內積為零；用向量轉置相乘計算內積，即 \(d_1^Td_2=0\)。所以，\(Ax’-b\) 垂直於 A 的所有列向量，可以寫為 \(A^T(Ax’-b)=\vec0\)，也就是 \(A^TAx’=A^Tb\)。
你學會了嘛？😏
