贝叶斯决策理论教材.pptxVIP

第二章 贝叶斯决策理论2.1 引言2.2 最小错误率贝叶斯决策2.3最小风险贝叶斯决策2.4正态分布下的贝叶斯决策2.1引言统计决策理论是根据每一类总体的概率分布决定未知类别的样本属于哪一类贝叶斯决策是统计决策理论的基本方法，它的基本假定是分类决策是在概率空间中进行的，并且以下概率分布是已知的每一类的概率分布类条件概率密度继续考虑鲈鱼和鲑鱼的例子假定传送带上送过来的鱼的种类是随机的，令ω表示鱼的种类，且为鲈鱼时ω=ω1，为鲑鱼时ω=ω2。由于我们无法确定性地预测鱼的种类，因此ω为随机变量。如果要分类的鱼中鲈鱼和鲑鱼的数目相等，则我们认为下一次出现鲈鱼和鲑鱼的可能性一样。一般的，假定已知出现鲈鱼的概率P(ω1)和出现鲑鱼的概率P(ω2)，则P(ω1)+ P(ω2)=1.这是我们在决策之前已知的先验知识，因此称为先验概率分布只依赖先验概率的决策先验概率反映了我们在鱼真正出现之前就已经具有的关于鲈鱼和鲑鱼的出现的可能性的知识。它受很多因素的影响，比如一年中的时节和所在的区域等等。假定在某个鱼还没有出现的时刻我们就不得不做出一种分类决策，这时我们拥有的信息只有两种鱼的先验概率。为了减少分类的错误率，合理的决策规则应该是： 如果P(ω1)P(ω2)，则决策为ω1 ，否则决策为ω2 。分类决策的分析如果只对一条鱼做分类决策，则前面的决策规则是合理的，如果要对连续出现的多条鱼重复这一决策规则，就略显怪异了：尽管我们知道会出现的鱼有两种，但我们只是重复同一决策。这一决策规则的好坏取决于先验概率P(ω1)，P(ω2)的相对大小，如果P(ω1)P(ω2)，则这一决策规则的错误率就比较小，如果P(ω1)=P(ω2)，则错误率将达到50%可以证明错误率是P(ω1)，P(ω2)中小的那个加入后验信息多数情况下，我们不会只依据先验信息来做分类决策假定我们利用光泽度来提高分类效果，由于不同的鱼会有不同的光泽度，我们仍然把它表示为一个随机变量令x为一个连续值的随机变量，其分布取决于鱼的种类，并表示为p(x|ω)，这就是条件概率密度，也就是鱼的种类为ω 时x的概率密度函数。类条件概率密度函数光泽度的类条件概率密度函数反应了两种鱼之间光泽度的差异后验概率假定我们知道先验概率P(ωj)和类条件概率密度p(x| ωj),j=1,2，并且测得一条鱼的光泽度为x，那么如何在分类决策中利用这一信息呢？由于联合概率分布满足可得贝叶斯公式其中P(ωj|x)就是类别关于光泽度的后验概率贝叶斯公式贝叶斯公式的直观理解 Posterior = (Likelihood x Prior) / Evidence贝叶斯公式表明通过观测x的值可以将先验概率转变成后验概率，也就是当观测值x给定后样本属于各个类别的概率p(x|ωj)也称为似然度，也就是在其他条件都相同的情况下，使p(x|ωj)越大的ωj越可能是样本所在的真实类别后验概率贝叶斯决策规则如果对于观测到的x满足 则我们自然地决策为ω1，否则决策为ω2 。在这一规则下的错误率为 P(error | x) = P(?1 | x) 决策为 ?2 P(error | x) = P(?2 | x) 决策为 ?1 。显然，对于给定的x，上述决策规则使得错误率最小。贝叶斯决策如果 P(?1 | x) P(?2 | x)，则决策为?1 ，否则决策为?2 。在这一规则下的错误率为 P(error | x) = min [P(?1 | x), P(?2 | x)]。思考：相比于直接利用先验概率的决策，贝叶斯决策的错误率是否减小了？分类器，判别函数和决策面特征分类器有多种表示形式，最常用的是判别函数。给定一个判别函数集合 如果特征x满足则决策为 。最小错误率贝叶斯决策中，可令gi(x)=P(ωi|x)。最小风险贝叶斯决策中，可令gi(x)=-R(αi|x)。判别函数的选择并不唯一，可以为gi(x)的任意单调增函数f(gi(x))。等价形式因为p(x)只是一个伸缩因子，并不影响后验概率的相对大小，因此决策规则中可以不考虑p(x):如果 p(x | ?1)P(?1) p(x | ?2 ) P(?2) ，则决策为?1 ，否则决策为?2 。如果p(x | ?1)=p(x | ?2 ) ，则x不提供任何信息，决策结果完全取决于先验概率如果P(?1) =P(?2) ，两种类别等概率出现，决策规则取决于似然度p(x | ?j)。贝叶斯决策规则及等价形式基于最小错误率的贝叶斯决策规则：等价形式2.2最小错误率贝叶斯决策令 为c个类别的有限集，特征向量x是一个d维的随机向量，p(x|ωj)为类条件概率密度，P(ωj)是ωj的先验概率，则利用贝叶斯公式，可以计算后验