Perceptron Hypothesis Set

• 2019 年 10 月 6 日
• 筆記

Perceptron Hypothesis Set

0.說在前面

1.機器學習的過程

2.感知機

3.作者的話

0.說在前面

今天開始更新機器學習系列，近日主要研究機器學習基石以及西瓜書等方面的學習，本文將更新機器學習基石的相關筆記。

1.機器學習的過程

根據模型H，使用演算法A，在訓練樣本D上的進行訓練，得到最好的h，其對應的g就是最後機器學習的函數模型，一般g接近於目標函數f，如下圖所示：

ML圖

2.感知機

這裡引入了一個銀行發卡例子，某銀行需要根據用戶的年齡、收入、性別等來判斷是否給當前用戶發銀行卡。

現在有個訓練集D，表示之前用戶是否發卡與用戶基本資訊的關係數據。針對這個D，通過使用演算法A，在H中選擇最好的h，進而得到g，接近目標函數f。銀行利用這個機器學習模型以對用戶進行判斷：發卡(+1),不發卡(-1)。

到這裡，想到了什麼？

那就是這個結果竟然跟sigmoid函數取值很像。

在這個機器學習過程中，需要著重看中一個選擇，那就是模型選擇，也就是Hypothesis Set。

下面介紹一個常用的Hypothesis Set：感知機。

以上述是否給用戶發銀行卡為例，我們把用戶的個人資訊作為特徵向量x，總共有d個特徵，並且給每個特徵賦以不同的權重w，表示該特徵對輸出(是否發信用卡)的影響程度。

在把所有的特徵加權和的值與一個設定的閾值threshold進行比較。如果最終結果是大於這個閾值，輸出為+1，表示發卡，否則輸出為-1，表示不發卡。

感知機圖

感知機模型，就是當特徵加權和與閾值的差大於或等於0，即輸出h(x)=1；當特徵加權和與閾值的差小於0，即輸出h(x)=-1。我們的目的是計算出所有的權重w和閾值threshold。

然後為了計算方便，將閾值部分合併至累加求和裡面。設為w0x，並且將求和的公式看為兩個向量進行運算。

這裡的w為d行1列，x也為d行1列的向量。

簡化圖

為了更好的說明感知機模型，這裡假設感知機在二維平面上，即h(x)=sign(w0+w1*x1+w2*x2)。h(x)可以看出是一條分類直線，一側為正類(+1)，另一次為負類(-1)，權重的不同對應於不同的直線。其中+1，-1表示最後的y。

二維結果圖

這樣的perceptron成為linear（binary） classifier，即用一條直線區分兩種不同類型的結果。

3.作者的話

以上正文圖片來源於林老師課程！

最後，您如果覺得本公眾號對您有幫助，歡迎您多多支援，轉發，謝謝！ 更多內容，請關注本公眾號機器學習系列！