神經網絡與機器學習第3版學習筆記-第1章 Rosenblatt感知器
- 2019 年 10 月 21 日
- 筆記
神經網絡與機器學習第3版學習筆記
-初學者的筆記，記錄花時間思考的各種疑惑
第一章 Rosenblatt感知器
１、第32頁
1.1 為什麼如果第n次迭代時的內積存在符號錯誤，第n+1次迭代內積的符號就會正確？
已知 $eta left( n right) X^Tleft( n right) Xleft( n right) >left| W^Tleft( n right) Xleft( n right) right|$ ······················································①
(1)假設$Xleft( n right) in varphi left( 1 right) $，即正確的內積結果大於0：$W^{begin{array}{c} T\end{array}}left( n right) Xleft( n right) >0$ 。
$because $第n次迭代時的內積存在符號錯誤
$therefore W^{begin{array}{c} T\end{array}}left( n right) Xleft( n right) <0$
$because Xleft( n right) in varphi left( 1 right) ,,land W^{begin{array}{c} T\end{array}}left( n right) Xleft( n right) <0$
$therefore Wleft( n+1 right) =Wleft( n right) +eta left( n right) Xleft( n right) $ //加上一個正數，使下次內積增大（P30的式1.6）
$therefore W^Tleft( n+1 right) =W^Tleft( n right) +eta left( n right) X^Tleft( n right) $
$therefore W^Tleft( n+1 right) Xleft( n right) =W^Tleft( n right) Xleft( n right) +eta left( n right) X^Tleft( n right) Xleft( n right) $
又$because ①Rightarrow eta left( n right) X^Tleft( n right) Xleft( n right) >-W^Tleft( n right) Xleft( n right) $
$therefore W^Tleft( n+1 right) Xleft( n right) >0$
即：第n+1次迭代內積的符號正確。
(2)同理可證當“$Xleft( n right) in varphi left( 2 right) land W^{begin{array}{c} T\end{array}}left( n right) Xleft( n right) >0$”時，第n+1次迭代內積的符號正確。
2、第33頁
2.1 關於“Cij”
Cij的通俗解釋：$xin varphi left( i right) $ 卻錯誤分類到$varphi left( j right) $的風險。
3、第34頁
3.1 為什麼C11<C21&C22<C12?
因為錯誤分類的風險更大。
3.2 最優分類策略的由來。
要使分類策略最優，即：實現風險最小。
所以，最優分類為，使得$int_{mathscr{X}1}{Aleft( x right) dx}$最小的A（A為1.27中的代數式）。
那麼，把所有使得$Aleft( x right) <0$的x都分配給$mathscr{X}1$，可使得上式最小。
4、第35頁
4.1 式1.33的簡化過程
$-frac{1}{2}left( X-mu _1 right) ^TC^{-1}left( X-mu _1 right) +frac{1}{2}left( X-mu _2 right) ^TC^{-1}left( X-mu _2 right) $
= $-frac{1}{2}X^TC^{-1}X+frac{1}{2}X^TC^{-1}mu _1+frac{1}{2}mu _1^TC^{-1}X-frac{1}{2}mu _1^TC^{-1}mu _1$
$,,+frac{1}{2}X^TC^{-1}X-frac{1}{2}X^TC^{-1}mu _2-frac{1}{2}mu _2^TC^{-1}X+frac{1}{2}mu _2^TC^{-1}mu _2$
= $,,frac{1}{2}X^TC^{-1}left( mu _1-mu _2 right) +frac{1}{2}left( mu _1^T-mu _2^T right) C^{-1}X$
$+frac{1}{2}left( ,,mu _2^TC^{-1}mu _2-mu _1^TC^{-1}mu _1 right) $
= $,,frac{1}{2}X^TC^{-1}left( mu _1-mu _2 right) +frac{1}{2}left( mu _1-mu _2 right) ^TC^{-1}X$
$+frac{1}{2}left( ,,mu _2^TC^{-1}mu _2-mu _1^TC^{-1}mu _1 right) $
$because X,C,mu _1,mu _2$都是一維向量，且 一維向量X一維向量=常數
$therefore X^TC^{-1}left( mu _1-mu _2 right) =left( mu _1-mu _2 right) ^TC^{-1}X$
$therefore $原式=$,,left( mu _1-mu _2 right) ^TC^{-1}X+frac{1}{2}left( ,,mu _2^TC^{-1}mu _2-mu _1^TC^{-1}mu _1 right) $
5、第37頁
5.1 實驗所需要的感知器參數中：$beta =50$ ？
因為區域A的輸入向量的最大歐幾里得範數應該為大圓半徑10，
所以 $beta =10^2=100$。
5.2 中文版中對於“權向量大小m=20”的描述，在原版中不存在，可忽略。
6、雙月模型的計算機實驗
見以下開源代碼：
（作者3步迭代就收斂，可我的代碼大約需要幾百步才能收斂，
由於是隨機產生的輸入向量，收斂步數應該得看臉，好在都能瞬間完成
並生成可分析數據）
https://gitee.com/none_of_useless/nnalm
思路：
①創建感知器。接受輸入向量及初始權值，輸出收斂後的權值。
②創建雙月模型，生成訓練與驗證數據。
