最小风险的Bayes决策.ppt

最小风险的Bayes决策;风险的表示;决策空间的相关符号;最小风险的Bayes决策规则;最小风险的Bayes???策规则步骤;例; 计算后验概率： P(ω1|X)＝0.818, P(ω2|X)＝0.182;决策规则的进一步探讨;最小错误决策和最小风险决策;3.3 Bayes分类器和判别函数;判别函数和决策面方程;最小错误概率决策;最小风险决策;Bayes分类器;决策界;决策界;二类分类器;例; 后验概率：;风险评估;分别写出两种情况的决策面方程;前面介绍了在一般的概率统计分布情况下的统计决策理论，这一节我们要讨论最常用的正态分布情况 在模式识别中，正态分布假设是对各种随机变量使用得最普遍的假设 这主要有两方面的原因： 1）正态分布在数学上比较简便 2）正态分布在物理上的合理性 ;数学上简便性 正态分布是数学上最简单的一种分布。它的一些特殊情况揭示了统计判别方法中许多重要的性质 在模式识别技术的研究中，需要用训练样本集来设计分类器，还需用测试样本集来检验分类器的分类效果，并对不同的分类器的性能进行比较 用正态分布模型描述训练样本集与测试样本集在数学上实现起来也比较方便;物理上的合理性 如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的 人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度; 单变量正态分布;正态分布描述了一个随机实变量在整个实数域上的分布规律 因此它属于概率密度函数类，不是我们所讨论的先验概率P(ωj)，也不是后验概率P(ωj|X)，而是p(x|ωj);多元是指样本以多个变量来描述，或具有多个属性，一般用d维特征向量表示，X＝[x1，…，xd]T。d维特征向量的正态分布用下式表示;一个向量或矩阵的期望是由其元素的期望组成的 ;图示为一个二维正态密度的示意图，如果把等概率密度点画出来，它们就是一族同心的椭圆;参数 和 对分布具有决定性： 从正态总体中抽取的样本落在一个密集区域里 这个区域的中心由均值向量决定 区域的形状由协方差矩阵决定 等密度点的轨迹为一超椭球面（可证明） 且超椭球面的主轴方向由 的特征向量决定，主轴的长度与相应的特征值成正比;把这个超椭球的中心平移到坐标原点，超椭球的方程变为 设X在超椭球上，X到超椭球中心的距离为 求超椭球主轴的问题是一个求条件极值的问题，构造Lagrange函数： 可得超椭球主轴的必要条件： ; 为向量X到均值向量 的Mahalanobis 距离(马哈诺比斯，马氏距）的平方 等概率密度点的轨迹是一个到均值向量 的Mahalanobis距离为 常数的超椭球;3.不相关 ? 独立;多元正态分布下的最小错误率贝叶斯决策及其判别函数和决策面 ;三种不同情况的探讨：;如果c个类的先验概率 都相同，式中 项可忽略 这时最小错误概率的Bayes决策法则可叙述为：若要对模式X分类，只要测量出从待分类模式向量X到每一类均值向量 的欧氏距离 ，然后把X归到距离最近的那个均值向量所属的类别即可 如果c个类的先验概率不相等，则表明距离的平方 必须用方差 规范化后减去 再用以分类 在实际应用时，可以不计算欧氏距离：把 展开后，可得判别函数： ; 决策面由线性方程 决定，即 式中： ; 此时判别函数变为： 1）若各类的先验概率相等，则 也可以忽略，这时决策法则可以这样描述：