R语言数据分析与挖掘(第八章):判别分析(2)——贝叶斯(Bayes)判别分析

  • 2019 年 12 月 13 日
  • 笔记

在上一篇文章中(R语言数据分析与挖掘(第八章):判别分析(1

贝叶斯(Bayes)判别分析

Bayes判别,它是基于Bayes准则的判别方法,判别指标为定量资料,它的判别规则和最大似然判别、Bayes公式判别相似,都是根据概率大小进行判别,要求各类近似服从多元正态分布。

1. Bayes准则:寻求一种判别规则,使得属于第k类的样品在第k类中取得最大的后验概率。

基于以上准则,假定已知个体分为g类,各类出现的先验概率为P(Yk),且各类均近似服从多元正态分布,当各类的协方差阵相等时,可获得由m个指标建立的g个线性判别函数Y1,Y2,…,Yg,分别表示属于各类的判别函数值:

其中Cjk即为判别系数,通过合并协方差阵代入即可计算得各个指标的判别系数,而C0k中则加以考虑了先验概率P(Yk):

2. 先验概率的确定:若未知各类的先验概率时,一般可用:

(1)等概率(先验无知):P(Yk)= 1/g(all groups equal)。

(2)频率:P(Yk)= nk/N (当样本较大且无选择偏倚时用,compute from sample size)

3. 判别规则:

(1)计算样品属于各类的判别函数值,把对象判别为Y值最大的类。

(2)根据所得Y值,我们亦可以进一步计算属于k类的后验概率,再将对象判给后验概率最大的一类。

以上两种判别规则的结果是完全一致的。

函数介绍

实现Bayes判别可以调用程序包klaR中NaiveBayes()函数,其调用格式为:

NaiveBayes(x,grouping,prior,usekernel =FALSE,fL = 0, ...)

x为训练样本的矩阵或数据框,grouping表示训练样本的分类情况,prior可为各个类别指定先验概率,默认情况下用各个类别的样本比例作为先验概率,usekernel指定密度估计的方法,默认情况下使用标准的密度估计,设为TRUE时,则使用核密度估计方法;fL指定是否进行拉普拉斯修正,默认情况下不对数据进行修正,当数据量较小时,可以设置该参数为1,即进行拉普拉斯修正。

例子:利用Iris数据集进行Bayes判别

> install.packages("klaR")  > X<-iris[1:100,1:4]  > G<-as.factor(gl(2,50))  > library(klaR)  > x<-NaiveBayes(X,G)  > predict(x)  $class    1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18    1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34  35  36    1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   1   37  38  39  40  41  42  43  44  45  46  47  48  49  50  51  52  53  54    1   1   1   1   1   1   1   1   1   1   1   1   1   1   2   2   2   2   55  56  57  58  59  60  61  62  63  64  65  66  67  68  69  70  71  72    2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   73  74  75  76  77  78  79  80  81  82  83  84  85  86  87  88  89  90    2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   2   91  92  93  94  95  96  97  98  99 100    2   2   2   2   2   2   2   2   2   2

由分析结果可知,根据已知分类的训练样品建立的判别规则,出现了0个样本错判,回代的判别正确率为100%。