第二章 贝叶斯决策 part2.pptVIP

贝叶斯决策理论 刘芳，戚玉涛 qi_yutao@163.com 统计分类的判决准则 最小错误率准则 最小风险准则 Neyman-Pearson准则：在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则 分类器设计 正态分布时的统计决策 Neyman-Pearson准则 问题：先验概率和损失未知 通常情况下，无法确定损失。 先验概率未知 某一种错误较另一种错误更为重要。 基本思想： 要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。 用lagrange乘子法求条件极值 Neyman-Pearson准则 数学模式： 对两分类问题, 将ω1决策为ω2的错误率为： P2(e) P(ω1) 将ω2决策为ω1的错误率为： P1(e) P(ω2) 由于P(ω1) 和P(ω2)对具体问题往往是确定的（但是未知），一般称P1(e)和P2(e)为两类错误率。 Neyman-Pearson准则 R 1、 R 2 为两类的决策域，记t为它们的边界（一维情况下即分界点）。 为了求极值点，将 L 分别对 t 和λ求偏导： Neyman-Pearson准则 Neyman-Pearson准则：在限定一类错误率条件下使另一类错误率为最小 的准则 Neyman-Pearson准则 Neyman-Pearson准则 最小错误率准则的等价形式 最小最大决策准则 Neyman-Pearson准则假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。 实际中，类先验概率 P(?i) 往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P(?i) 不确知或变动的情况下使平均损失变大的问题。 最小最大决策准则：在最差的条件下争取最好的结果，使最大风险最小！ 最小最大决策准则 分析风险R与先验概率P(ω1)的关系： 最小最大决策准则 最小最大决策准则 最小最大决策准则 由上式可见，当类概密、损失函数?ij 、类域Ri 取定后，风险R是P(?1)的线性函数。 考虑P(?1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(?1)值，并分别按最小损失准则确定相应的最佳决策类域R1 、R2 ，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(?1)的关系曲线。 最小最大决策准则 最小最大决策准则 最小最大决策准则 分类器设计 分类器设计 决策面：划分决策区域的边界面 判别函数：用于表达决策规则的某些函数。 分类器设计 正态分布的统计决策 为什么研究正态分布？ 物理上的合理性：较符合很多实际情况 数学上比较简单：两个参数 单变量正态分布 多元正态分布 正态分布的统计决策 单变量正态分布密度函数（高斯分布）： 正态分布的统计决策 多元正态分布函数 多元正态分布的性质 参数个数：d+d(d+1)/2 均值向量：d个参数 协方差矩阵：对称的d维矩阵， d(d+1)/2个参数 等密度点的轨迹为一超椭球面 多元正态分布的性质 马氏距离(Mahanlanobis Distance)： 多元正态分布的性质 对于正态分布的随机变量，不相关等价于独立 多元正态分布的性质 线性变换仍是正态分布 多元正态分布的性质 正态分布的判别函数 贝叶斯判别函数可以写成对数形式： 正态分布的判别函数 情况一：各类协方差阵相等，且各特征独立，方差相等 情况二：各类协方差阵相等 情况三：各类协方差阵不相等 任意的 正态分布的判别函数 正态分布的判别函数 类条件概率密度函数为正态分布时： Pattern Recognition Lecture 2. Bayesian Decision Institute of Intelligent Information Processing, IIIP School of Electronic Engineering Key Lab. of Intelligent Perception and Image Understanding Xidian University Pattern Recognition Institute of Intellig