吳恩達機器學習複習3：分類、假設的表示方法、決策邊界、損失函數、簡化的損失函數和梯度下降、梯度下降、高等優化、多級分類

2022 年 10 月 10 日
筆記

【分類】

①兩類或二分類問題：輸出值為0或1

②多分類問題：比如y可能有4個值，0、1、2、3

有關腫瘤的分類問題

如果使用線性回歸處理分類問題？

為了嘗試分類，方法是使用線性回歸併且把大於0.5的映射為1，小於0.5的映射為0

然而這種方法並不能正常工作，因為分類不是一個線性函數

【假設的表示方法】

Sigmoid函數又叫Logistic函數

為了解決這個問題，我們將改變假設的形式以滿足

從而實現把放進邏輯斯蒂函數

對假設輸出的解釋

概率上P(y=0|x;θ)+P(y=1|x;θ)=1

【決策邊界】

邏輯回歸

決策邊界

非線性決策邊界

總結

【損失函數】

邏輯回歸中，最小化損失函數這樣子是有用的。但結果是，如果使用這個特殊的損失函數，將會有一個非凸優化函數的參數數據。

它正式的術語是非凸優化函數。

你應該能分辨，如果你在這種函數上使用梯度下降，將不能保證這會擬合到全局最小值。

然而相比之下，我們應該做的是有一個凸的損失函數的θ值，看起來像下面這樣

所以如果θ可以得到保證，它就會收斂到全局最優解。

畫一個J和h的對比圖

注意到以這種方式寫函數功能可以保證J對於邏輯回歸是凸的

【簡化的損失函數和梯度下降】

邏輯回歸的代價函數如下

梯度下降

把我們的損失函數的兩種情況壓縮至一種情況

我們可以像下面一樣寫整個損失函數

向量化的執行像下面這樣

【梯度下降】

記住梯度下降的一般形式如下

用微積分計算出導數部分得到

這演算法和我們在前面的線性回歸里用到的是一樣的，我們仍然必須同時更新theta里的所有值

執行向量化就像下面這個樣子

【高等優化】

優化演算法

例子

共軛梯度法（Conjugate Gradient）(介於最速下降法與牛頓法之間的一個方法)，BFGS法(BFGS method)（一種擬牛頓法，用BFGS矩陣作為擬牛頓法中的對稱正定迭代矩陣的方法），和L-BFGS（由牛頓法發展而來,為了提高計算效率而提出的近似計算方法）是用於最小化theta的更複雜、更快的方法。

建議你自己不要寫更複雜的演算法（除非你是數值計算方面的專家！），而是使用現有的庫，因為它們已經被測試和優化得很好了。

function [jVal, gradient] = costFunction(theta)
  jVal = [...code to compute J(theta)...];
  gradient = [...code to compute derivative of J(theta)...];
end

options = optimset('GradObj', 'on', 'MaxIter', 100);
initialTheta = zeros(2,1);
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);

把我們的損失函數放進fminunc()，我們最初的向量和theta值以及選擇我們之前創建的目標