统计(Bayesian决策理论.docVIP

第二章 统计（Bayesian）决策理论 Bayesian决策理论是统计模式识别方法的理论基础，大多数人认为也是神经网络分类方法的理论基础。说到底，Bayesian决策方法就是企望在后验概率P(?j/x)（据此确定样本x的类别）和代价P(e)（即风险，做这一决策产生的损失）之间寻找一个平衡点。当然，我们希望P(?j/x)越大越好，P(e)越小越好。 基于最小错误率（Minimum-error-rate）的决策 最小错误率—Probability of minimum error。我们应将之理解为犯错误最小的概率，与上一章的分类错误率不是一回事。 设有两个类别?1和?2，它们的先验概率（Prior Probabilities）P(?1)、P(?2)为已知。 根据先验概率决策 对样本x而言，我们除知道P(?1)和P(?2)之外，其它一无所知。令P(?1)P(?2)，若希望做决策时误差为最小，则认为 x??1。 类似地，若有n个类别，且 则决策 x??j；若 这时，我们不能作出决策。 该方法的缺陷之一是P(?j)的准确值一般是不知道的，常用的方法是估计。设样本总数为N，第j类样本数为Nj，则 （频数比）。 若所有类别的样本数一样多，即，k=1,2,?,n，这时该方法失效。 根据后验概率（Posteriori Probabilities）决策 设可求得后验概率P(?j/x)，j=1,2,?,n，若 则可决策 x??j。 我们知道，Bayesian公式为 这里，p(x)为x的概率密度，p(x/?j)为x属于?j的类条件概率密度。将(2-4)代入(2-3)，得 或 式(2-6)可改写成 于是，依据后验概率大小可得到如下决策规则 我们称l(x)为似然函数（Likelihood function）。 特别地，若P(?j)=P(?k)，即先验概率相等，这时分类阈值?=1，式（2-8）所示的决策规则化为 即 R1 R1 R2 0 x l(x) 图2.2 似然比分布曲线 R1 R2 0 x p(x/?j)P(?j) p(x/?k)P(?k) p(x/?)P(?) 图2.1 类条件概率密度与先验概率乘积的分布曲线 1 这就是说，在先验概率相等的条件下，我们可以仅根据类条件概率密度的大小来确定样本x的类别。 图2.1为p(x/?j)=N(0, 1), p(x/?k)=0.6N(1, 1)+0.4N(-1, 2)的类条件概率密度分布曲线，图2.2为这两个类的似然比分布曲线 最小错误概率 图2.3为求最小错误概率的示意图R1R20xp(x/?j) R1 R2 0 x p(x/?j)P(?j) p(x/?k)P(?k) p(x/?)P(?) 图2.3求最小错误概率的示意图 x属于?k但被错分为?j的区域 x属于?j但被错分为?k的区域 同样地，若样本x属于?j，但分类器将其错分为?k，由此引起的分类误差的概率为 在只有?j、?k两个类别的情况下，样本x被错分的概率为 由于 和 将(2-14)和(2-15)代入(2-13)，得 即 但P(?j)+P(?k)=1，所以 我们称P(c)为正确分类的概率。于是， 式（2-19）意味着使分类错误的概率为最小等价于使分类正确的概率为最大。 值得注意的是，最小错误概率的推导实际上是根据后验概率得到的，即（2-13）的完整写法是 对于只有?j和?k两个类别的情况，基于最小错误率的决策边界有下列几种表达形式。 直接由后验概率相等所决定，即 由后验概率取自然对数相等所决定，即 将Bayes公式两边取自然对数，我们有 这里，被称为分类阈值。 上述结论很容易推广到多类情况。 基于最小错误概率的决策方法存在以下缺陷。 先验概率P(?j)，j=1,2,?,n一般不知道，难以准确估计。 类条件概率密度函数p(x/?j)，j=1,2,?,n一般也是不知道，难以准确估计。 我们在推导公式（2-20）时，用了两个临界点R1和R2，当条件概率密度曲线很复杂，或者特征空间维数很高时，确定临界点是很困难的。