先验分布与后验分布，认真看看这篇

• 2019 年 10 月 8 日
• 笔记

此文主要参考 huaxiaozhuan.com

编辑: Python与算法社区 公众号

在贝叶斯学派中，先验分布+数据（似然）= 后验分布 。例如：假设需要识别一大箱苹果中的好苹果、坏苹果的概率。

在这里：如果不使用先验分布，仅仅清点这箱苹果中的好坏，则得到的分布只能代表这一箱苹果。采用了先验分布之后得到的分布，可以认为是所有箱子里的苹果的分布。当采用先验分布时：给出的好、坏苹果的个数（也就是频数）越大，则先验分布越占主导地位。

根据你对苹果好、坏的认知，给出先验分布为：50个好苹果和50个坏苹果。现在你拿出10个苹果，发现有：8个好苹果，2个坏苹果。根据数据，你得到后验分布为：58个好苹果，52个坏苹果。再拿出10个苹果，发现有：9个好苹果，1个坏苹果。根据数据，你得到后验分布为：67个好苹果，53个坏苹果。这样不断重复下去，不断更新后验分布。当一箱苹果清点完毕，则得到了最终的后验分布。

假设好苹果的概率为 P，则抽取 N 个苹果中，好苹果个数为 K 个的概率为一个二项分布：

现在的问题是：好苹果的概率 p 不再固定，而是服从一个分布。假设好苹果的概率 p 的先验分布为贝塔分布：

则后验概率为：

归一化之后，得到后验概率为：

好苹果概率 p 的先验分布的期望为：

好苹果概率 p 的后验分布的期望为：

根据上述例子所述：

• 好苹果的先验概率的期望为:

• 进行第一轮数据校验之后，好苹果的后验概率的期望为:

如果将 α 视为先验的好苹果数量， β 视为先验的坏苹果数量， N 表示箱子中苹果的数量， k 表示箱子中的好苹果数量（相应的， N-k 就是箱子中坏苹果的数量）。则：好苹果的先验概率分布的期望、后验概率分布的期望符合人们的生活经验。

这里使用先验分布和后验分布的期望，因为 p 是一个随机变量。若想通过一个数值来刻画好苹果的可能性，则用期望较好。

附注

贝塔分布是定义在 (0,1) 之间的连续概率分布。如果随机变量 X 服从贝塔分布，则其概率密度函数为：

记做

众数为：

期望为：

方差为：

文章参考：

http://huaxiaozhuan.com/%E6%95%B0%E5%AD%A6%E5%9F%BA%E7%A1%80/chapters/2_probability.html