80頁筆記看遍機器學習基本概念、演算法、模型，幫新手少走彎路
- 2019 年 10 月 5 日
- 筆記
機器之心整理
機器之心編輯部
目前有關機器學習的資料可謂層出不窮，其中既有書籍、課程影片資料，也有很多演算法模型的開源項目。不過對於初學者來說，或許閱讀學習筆記是一種最容易快速上手的方法。
本文要介紹的是一份長約 80 頁的學習筆記，旨在總結機器學習的一系列基本概念（如梯度下降、反向傳播等），不同的機器學習演算法和流行模型，以及一些作者在實踐中學到的技巧和經驗。
如果你是一個剛剛入門機器學習領域的人，這份學習筆記或許可以幫你少走很多彎路；如果你不是學生，這些筆記還可以在你忘記某些模型或演算法時供你快速查閱。必要時，你可以使用 Ctrl+F 搜索自己想知道的概念。
- 筆記鏈接： https://createmomo.github.io/2018/01/23/Super-Machine-Learning-Revision-Notes/#tableofcontents
筆記共分為以下六大部分：
- 激活函數
- 梯度下降
- 參數
- 正則化
- 模型
- 實用竅門
在第一部分「激活函數」中，作者提供了 Sigmoid、tanh、Relu、Leaky Relu 四種常用的機器學習激活函數。
第二部分「梯度下降」又分為計算圖、反向傳播、L2 正則化梯度、梯度消失和梯度爆炸等 12 個小節：
為了幫助讀者理解，作者舉了一些例子，並對很多內容進行了可視化的展示：
梯度下降
此外，作者還對程式碼中用到的一些符號進行了詳細解釋，對於新手來說非常友好：
筆記的第三部分是機器學習中的參數，又分為可學習參數和超參數、參數初始化、超參數調優等幾個小節。
為了防止新手走彎路，作者在「參數初始化」部分的開頭就提醒道：其實，TensorFlow 等機器學習框架已經提供了魯棒的參數初始化功能。類似的提醒在筆記中還有很多。
筆記的第四部分是正則化，包含 L2 正則化、L1 正則化、Dropout、早停四個小節。
第五部分是整份筆記的重中之重，詳細描述了邏輯回歸、多類分類（Softmax 回歸）、遷移學習、多任務學習、卷積神經網路（CNN）、序列模型、Transformer 和 BERT 等八大類機器學習模型。並且，八大類模型下面又分為各個小類進行詳解，具體如下所示：
解釋相對簡單的前四類機器學習模型。
解釋最為詳盡的卷積神經網路（CNN），包括 Filter/Kernel、LeNet-5、AlexNet、ResNet、目標檢測、人臉驗證以及神經風格遷移等。
序列模型，包括常見的循環神經網路模型（RNN）、Gated Recurrent Unit（GRU）、LSTM、雙向 RNN、深度 RNN 示例、詞嵌入、序列到序列翻譯模型示例等。
Transformer 和 BERT 模型。
筆記最後一部分給出了一些「實用竅門」，包括訓練/開發/測試數據集、不匹配的數據分布、輸入歸一化以及誤差分析等 6 方面內容。其中有些竅門來自 Deep Learning AI 等在線課程，還有一部分是作者自己總結得到的。
作者的其他筆記
除了這份機器學習筆記之外，作者之前還整理過概率圖模型、BiLSTM 上面的 CRF 層等相關筆記。詳細目錄如下：
作者整理的概率圖模型複習筆記。
作者整理的 BiLSTM 上的 CRF 層相關筆記。
