100天搞定機器學習|Day35 深度學習之神經網路的結構

這784個神經元就組成了網路的第一層，最後一層的十個神經元代表0-9這十個數，同樣的，他們的激活值也在0-1之間，代表了輸入影像對應哪個數字的可能性。網路中間層被稱為隱含層，可以看做黑箱，數字識別的具體工作就在這裡完成，這裡加了兩層隱含層，每層有16個神經元——隨便設置的，只是為了顯得好看，後期還可以再調整。

神經網路處理資訊的核心機制正是如此，一層的激活值通過一定的運算，得出下一層的激活值。上面也提到784個神經元代表的是數字圖案，那麼下一層激活值也會產生某些特殊的圖案，最終在輸出層最亮的神經元表示神經網路的選擇。

我們再看看如何訓練，為什麼這種層狀結構就能識別數字呢？

我們可以把數字進行拆解，理想狀況下希望倒數第二層的各個神經元可以分別對應上一個筆畫。

再來看隱含層第一層，當輸入為9或8的上面帶圈的數字時，某個神經元的激活值就會接近1，希望所有這種位於影像頂部的圓圈圖案都能點亮這個神經元，這樣，從第三次到輸出層，我們只需要學習哪些部件能組合出哪個數字即可。

但是如何識別圓圈呢？同理可以把它拆分成更細微的問題。

於是我們希望網路第二層的各個神經元對應這些短邊，第二層就能把所有關聯短邊的八到十個神經元都點亮，接著就能點亮對於頂部圓圈和長豎條的神經元。

然後我們看看連線的作用

如何讓第二層（隱含層的第一層）中的這一個神經元能夠能夠識別出影像的這一塊區域是否存在一條邊？

我們設計讓第二層的某一個神經元能正確識別影像中的這塊區域里是否存在一條邊。

我們拿出第一層（輸入層/第0層）的激活值，並賦上權重（要關注區域的權重為正值，否則為0），這樣對所有像素值求加權和，就只會累加關注區域的像素值了。

綠色為正值，紅色為負值，顏色越暗表示權重越接近0

所以想要識別是否存在一條邊，只需要給周圍一圈的像素都賦予負權重

計算的加權值可以使任意大小的

但是我們需要的是將其壓縮到0-1之間

這裡就需要Sigmoid函數了，這就是激活函數。

激活值實際上就是一個對加權之和到底有多正的打分，但是有時加權之和大於0時，也不想點亮神經元，比如想要加權和大於10時才讓他激發，這裡就還需要加上一個偏置值，保證不隨便激發。

權重告訴我們第二個神經元關注什麼樣的像素圖案

bias告訴我們加權和要多大才能讓神經元的激發有意義

這裡有13000多個參數需要調整，所以這裡所謂的學習就是找到正確的權重和偏置。剛開始講到我們把神經元看作是數字容器，但是這些數字取決於輸入的影像，所以把神經元看過一個函數才更準確，它的輸入是上一層所有神經元的輸出，它的輸出是一個0-1之間的值。其實整個神經網路也是一個函數，輸入784個值，輸出10個值。不過它是一個包含了13000個權重、偏置參數的極其複雜的函數。