现代机器学习 课件 第7章 贝叶斯决策理论.pptx

第7章贝叶斯决策理论;

7.1贝叶斯分类器;

在已知所有用来计算后验概率的条件之后,通过贝叶斯公式,根据先验概率、后验概率和概率密度函数之间的关系:

即可计算出后验概率。式(71)中,p(x)是x的概率密度函数,即;

因此,贝叶斯决策规则可以描述如下:

(1)若P(ω1|x)P(ω2|x),则x属于ω1;

(2)若P(ω1|x)P(ω2|x),则x属于ω2。

当两个后验概率相等时,样本可以被分为任何一类。我们一般不希望出现这种情况。根据式(71),这种情况可以表示为;;

可以看出,此时后验概率的最大值估计取决于x类条件概率密度函数的估计值。图7.1表示的是具有两个等概率类别组成的贝叶斯分类器的例子,体现了x(d=1,d为x的维数)的函数p(x|ωi)(i=1,2)的变化情况。图7.1中,特征空间被a处的虚线分割成了d1和d2两个区域。根据贝叶斯决策规则,若样本观测向量x的值处在区域d1上,则该样本会被分类为ω1;若观测向量x的值处在区域d2上,则该样本会被分类为ω2。可是通过观察图中的阴影区域,不难发现,分类错误是无法避免的,阴影区域中某些x的值原本属于ω1类,却被分类到了ω2类中,这对于ω2类的分类错误也是相同的。;

那么,这个分类错误率的计算公式就可以表示为;;

7.1.2最小风险贝叶斯决策规则

对于图7.1