第二章_贝叶斯决策论.pptxVIP

Chapter 2 Bayesian Decision Theory– 贝叶斯决策论;要点：; 在不知道更多信息的情况下，每次出现鲈鱼的先验概率为 ，而鲑鱼的先验概率为 ，其中 先验概率反映了在鱼没有出现之前，我们拥有可能出现鱼的类别的先验知识。; 利用类条件概率密度: 及 描述了两种鱼类外观上光泽度的差异。 其中，x为光泽度指标。 类条件概率密度为类别状态为ω时的x的概率密度函数 ; 注 : 假定的类条件概率密度函数图,显示了模式处于类别 时观察某 个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1;贝叶斯公式: 处于类别 并具有特征值 x的模式的联合概率密度可写成两种形式： ;在先验概率 及图2-1给出的后验概率图.此情况下,假定一 个模式具有特征值 , 那么它属于 类的概率约为0.08, 属于 的概率 约为0.92.在每个x 处的后验概率之和为1.0; 基于后验概率的决策准则 (x 表示观察值) 若 类别判定 若 类别判定 决策后所导致的错误率 若判定 若判定; 最小化错误概率条件下的贝叶斯决策规则 为了追求最小的错误率，采取如下判定准则： 若 ,则判定类别为 ; 反之，判为 。 可以证明,依从这样的准则可以获得最小错误率： 我们称该准则为“贝叶斯决策准则”。; 根据贝叶斯公式，由于p(x)为标量，则可以采用等价判定准则： 若 ,则判定类别为 ; 反之，判为 。 ; 2.2 贝叶斯决策论-连续性特征;;为了最小化总风险，对所有 计算条件风险; 两类分类问题; 决策; 决策;; 当损失函数简化到所谓的“对称损失”或“0-1损失” 函数;对于 , 若 ,则判定类别为 ; 反之，判为 。;2.3.1 极小极大化准则（先验概率未??情形）;结合公式 与;2.3.2 Neyman-Pearson准则; 2.4 分类器与判别函数;上图为包含d个输入c个判别函数的系统。确定哪个判别函数值 最大，并相应地对输入作分类。; 不同情况下的分类器的表示方式; 尽管判别函数可写成各种不同的形式，但是判决规则是相同的。 每种判决规则都是将特征空间划分c个判决区域， 如果对于所有的 ，有 那么x属于 。 要求我 们将x分给 。此区域由判决边界来分割，其判决边界即判决 空间中使判决函数值最大的曲面。如图 ;在这个二维的两类问题的分类器中，概率密度为高斯分布。判别边界由两个双曲面构成，因此判决区域R2并非是简单连通的。椭圆轮廓线标记出1/e乘以概率密度的峰值。;则如果 ，则将x判给 ，否则给 。; 2.5 正态密度;单变量正态分布大约有95%的区域在 范围内，如图 此分布的峰值为; 正态分布与熵之间的关系; 多元密度函数; 协方差矩阵 通常是对称的且半正定。我们将严格限定 是正定的。对角线元素 是相应的 方差; 非对角线元素 是 和 的协方差。如果 和 统计独立，则 。如果所有的非 对 角线元素为0，那么p(