最小二乘法

• 2020 年 5 月 2 日
• 筆記
• Python, 數學, 最小二乘法, 機器學習

簡介

個人部落格: //xiaoxiablogs.top
最小二乘法就是用過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便的求得未知的數據。

一元線性回歸下的最小二乘法

下面來講解一下最小二乘法(以二維數據為例)
首先,我們得到一組數據(\(x_1,y_1\)), (\(x_2,y_2\))…(\(x_n,y_n\)),我們的預測函數 \(f(x_i)=\omega x_i+b\),也就是預測值\(\hat y_i\), 那麼我們的誤差的平方和為:

而我們需要使得上面的式子為最小值,從而求得我們需要的\(\omega和b\), 我們將其記作\((\omega^*, b^*)\),即

求解\(\omega\)和\(b\)的使得\(E_{(\omega, b)}=\sum^n_{i=1}(y_i-\hat y_i)^2\)的過程,稱為線性回歸模型的最小二乘”參數估計”
我們要求得\(E_{(\omega, b)}\)的最小值,只需要求得其極值即可。
我們可將\(E_{(\omega, b)}\)分別對\(\omega\)和\(b\)求偏導:

對上面的方程求解可以得到

其中\(\overline x=\frac1n\sum^n_{i=1}x_i\)即\(\overline x\)是\(x\)的均值

通過上面的步驟我們就可以得到最小二乘法的\(\omega和b\)了。
從而我們就可以得到關係式\(f(x_i)=\omega x_i+b\)

多元線性回歸下的最小二乘法

同樣的,如果將最小二乘法應用到\(n\)維數據中
我們的數據\(x\)如下:

對應的\(\omega\)為\(\left(\begin{matrix}\omega_1&\omega_2&\dots&\omega_n\end{matrix}\right)\),所對應的方程為
\(\omega_1 x_1+\omega_2 x_2+\dots+\omega_n x_n+b\)
為了方便計算,我們可以將\(b\)放在\(x\)和\(\omega\)中,即將\(b\)作為一維,其為固定值1,參數為\(\omega_b\)

因此,我們的方程就變為了\(f(x_i) = \omega^Tx\)
與上方一元線性回歸下的誤差類似地

令\(E_\omega=(y-X\omega)^T(y-X\omega)\),對\(\omega\)求導可得:

令上式等於零可得\(\omega\)的最優解:

從而可以得到我們需要的函數\(f(x_i)=\omega’^Tx’=\omega^Tx+\omega_b=\omega^Tx+b\)也就是\(f(x_i)=x_i^T(X^TX)^{-1}X^Ty\)

多元最小二乘法也是用與一元線性回歸

最小二乘法的程式碼實現

def LeastSquareMethod(X, Y):
	"""
		最小二乘法
	:param X: 未進行擴展的X矩陣
	:param Y: X矩陣相對應的結果集矩陣
	:return X_b: 進行擴展處理後的X矩陣
	:return omega: 使用最小二乘法求得的w
	"""
	# 對X矩陣進行擴展
	X_b = np.c_[np.ones((len(X), 1)), X]
	'''
	np.linalg.inv用來求矩陣的逆矩陣
	dot表示矩陣祥恆
	T表示矩陣的轉置
	'''
	omega = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)
	return X_b, omega

實例

import numpy as np
import matplotlib.pyplot as plt


def LeastSquareMethod(X, Y):
	"""
		最小二乘法
	:param X: 未進行擴展的X矩陣
	:param Y: X矩陣相對應的結果集矩陣
	:return X_b: 進行擴展處理後的X矩陣
	:return omega: 使用最小二乘法求得的w
	"""
	# 對X矩陣進行擴展
	X_b = np.c_[np.ones((len(X), 1)), X]
	'''
	np.linalg.inv用來求矩陣的逆矩陣
	dot表示矩陣祥恆
	T表示矩陣的轉置
	'''
	omega = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(Y)
	return X_b, omega


if __name__ == '__main__':
	X = np.random.rand(100, 1)
	Y = 4 + 3 * X + np.random.randn(100, 1)
	X_b, omega = LeastSquareMethod(X, Y)
	Y2 = X_b.dot(omega)
	plt.plot(X, Y, 'o')
	plt.plot(X, Y2, 'r')
	plt.show()

得到的影像為