生成式模型与判别式模型

• 2019 年 11 月 20 日
• 筆記

从概率分布的角度看待模型。 给个例子感觉一下: 如果我想知道一个人A说的是哪个国家的语言，我应该怎么办呢?

• 生成式模型 我把每个国家的语言都学一遍，这样我就能很容易知道A说的是哪国语言，并且C、D说的是哪国的我也可以知道，进一步我还能自己讲不同国家语言。
• 判别式模型 我只需要学习语言之间的差别是什么，学到了这个界限自然就能区分不同语言，我能说出不同语言的区别，但我哦可能不会讲。

它们的区别在于：

　　对于输入x，类别标签y： 　　生成式模型估计它们的联合概率分布P(x,y) 　　判别式模型估计条件概率分布P(y|x) 　　生成式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

一些理论可看：On Discriminative vs Generative classifiers: A comparison of logistic regression and naive Bayes。

http://papers.nips.cc/paper/2020-on-discriminative-vs-generative-classifiers-a-comparison-of-logistic-regression-and-naive-bayes.pdf

1. 常见生成式模型
   • Naive Bayes
   • Gaussians
   • Mixtures of Gaussians
   • Mixtures of Experts
   • Mixtures of Multinomials
   • HMM
   • Markov random fields
   • Sigmoidal belief networks
   • Bayesian networks
2. 常见判别式模型
   • Linear regression
   • Logistic regression
   • SVM
   • Perceptron
   • Traditional Neural networks
   • Nearest neighbor
   • Conditional random fields