機器學習整理（邏輯回歸）
- 2022 年 3 月 23 日
- 筆記
二分類問題
問題定義：給定一些特徵，給其分類之一。
假設函數 \(h(x)\) 定義：
\[h(x) = g(\theta^Tx)
\]
\[g(z) = \dfrac{1}{1 +e^{-z}}
\]
決策邊界：
當 \(h(x) >= 0.5\) 的時候，y 更有可能預測為 1。
當 \(h(x) < 0.5\) 的時候，y 更有可能預測為 0。
當 z 的值為 0，也就是 \(\theta^Tx\) = 0 時就是區分兩種分類的決策邊界。
決策邊界可能是直線，也有可能是曲線、圓。
代價函數
\(g(x)\) 是一個「非凸函數」，如果將點距離公式帶入到邏輯回歸中，就會存在很多局部最優解。
新的代價函數定義：
定義的代價函數影像和原因如下：
如果預測是/接近 0，但是實際的y是 1，這樣代價函數的值就會非常大，以此來懲罰（修正）代價函數，而我們需要將代價函數最小化才能計算出 \(h(x)\) 的參數 θ。
因為總是存在 $y = 0 $ 或 \(y = 1\) ，所以可以將代價函數合併：
\[J(\theta) =
-\frac{1}{m}
[\sum_{i=1}^{m}y_ilog(h(x_i)) + (1-y_i)log(1-h(x_i)) ]
\]
梯度下降的演算法和之前一致，只不過偏導數相對複雜一些。
多分類問題
將多個類別的分類，轉化成一對一的分類（分類器），每一個分類器相當於在計算屬於自己那個分類的邏輯回歸。
進行預測時：選擇 \(max(h_i(x))\) 的分類器，也就是概率最高的一個，如圖（右側）。
