機器學習系列14：偏差與方差

• 2019 年 10 月 7 日
• 筆記

在訓練機器學習模型中，結果不能被很好地預測通常是因為高偏差（欠擬合）或高方差（過擬合）。把交叉驗證集的代價函數和測試集的代價函數畫在一個圖像中：

左面紅色部分為高偏差（欠擬合），右邊紅色部分為高方差（過擬合）。

對於如下模型，線性回歸正則化的代價函數為：

其中藍色框為正則化項，λ 越大，代表對參數的懲罰就越大。

訓練集代價函數 J_train (θ) 、交叉驗證集代價函數 J_cv (θ) 和測試集代價函數 J_test (θ) 不需要加正則化項，如下：

對於正則化代價函數，通過不同的 λ 值計算出參數集 θ，然後計算出相應的交叉驗證集代價函數 J_cv (θ) 和測試集代價函數 J_test (θ)。

將它們畫在一張圖像中：

你會發現，隨着 λ 增加， J_test (θ) 在不斷增大，也就是說擬合程度越來越差。λ 剛開始增加時， J_cv (θ) 先減小，表示正則化優化了多項式的擬合，泛化程度較好；但隨着 λ 不斷增加，多項式對數據的擬合也會越來越差。通過這個圖像，就可以找出最佳擬合的位置。