學習筆記：神經元模型（2）

• 2020 年 3 月 12 日
• 筆記

這裡我們給出三種常用的激活函數，如下圖所示。

Python的Numpy package中提供了exp和maximum函數，因此，可以很方便地描述上述三個函數，如下圖所示。

描述了這三個函數，就可以用matplotlib package提供的函數方便地畫出函數圖像，這三個函數的圖像如下圖所示。為便於比較，將這三個函數的圖像在同一坐標系顯示。

從圖像中不難看出，sigmoid 函數不是關於原點中心對稱的（zero-centered)；tanh解決了sigmoid中的 zero-centered 問題；ReLU是目前使用最頻繁的一個函數。