贝叶斯决策论讲义.pptxVIP

Chapter 2 Bayesian Decision Theory– 贝叶斯决策论要点： 重点掌握贝叶斯决策论、最小误差率分类规则、分类器与判别函数、正态密度、正态分布的判别函数 了解贝叶斯决策论(离散性特征) 2.1 引 言 贝叶斯决策是统计模式识别的基本方法, 采用概率的形式来描述，它的前提是:(1). 各类别的总体概率分布是已知的.(2). 要决策分类的类别数是一定的. 例如：对于鲑鱼与鲈鱼的2类问题，如果用ω表示类别状态，那么当 时是鲈鱼，当 时是鲑鱼。由于每次出现的类别不确定，可以假设ω是一个用概率来描述的随机变量。 在不知道更多信息的情况下，每次出现鲈鱼的先验概率为 ，而鲑鱼的先验概率为 ，其中先验概率反映了在鱼没有出现之前，我们拥有可能出现鱼的类别的先验知识。 仅根据先验信息的判定准则 若,则事件 成立; 反之,则 成立。 错误的概率是它们之中较小的那个. 但通常不这样做！ 利用类条件概率密度:及 描述了两种鱼类外观上光泽度的差异。 其中，x为光泽度指标。 类条件概率密度为类别状态为ω时的x的概率密度函数 注 : 假定的类条件概率密度函数图,显示了模式处于类别 时观察某个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1贝叶斯公式: 处于类别 并具有特征值 x的模式的联合概率密度可写成两种形式： 于是，可以导出贝叶斯公式: （1）其中 称为状态的后验概率.混合概率密度函数:在先验概率 及图2-1给出的后验概率图.此情况下,假定一个模式具有特征值 , 那么它属于 类的概率约为0.08, 属于 的概率约为0.92.在每个x 处的后验概率之和为1.0 基于后验概率的决策准则 (x 表示观察值) 若 类别判定 若 类别判定 决策后所导致的错误率 若判定 若判定 最小化错误概率条件下的贝叶斯决策规则 为了追求最小的错误率，采取如下判定准则： 若 ,则判定类别为; 反之，判为 。 可以证明,依从这样的准则可以获得最小错误率： 我们称该准则为“贝叶斯决策准则”。 平均错误率: 根据贝叶斯公式，由于p(x)为标量，则可以采用等价判定准则： 若,则判定类别为; 反之，判为 。 2.2 贝叶斯决策论-连续性特征 概 述允许利用多于一个的特征允许多于两种类别状态的情形允许有其它行为而不仅是判定类别。引入损失函数代替误差概率。 考察损失函数对判定准则的影响令{?1, ?2,…, ?c}表示一系列类别状态。令{?1, ?2,…, ?a}表示一系列可能采取的行动（或决策）。令 ? (?i | ?j)表示当实际状态为 ?j 时,采取?i 的行为会带来的风险。那么，特征x与行动?i 相关联的损失为:因此， 称为条件风险。 借助 可以提供一个总风险的优化过程，即遇到特征x，我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 ，则总风险可表示为：为了最小化总风险，对所有 计算条件风险(12)选择行为?i ，使得 最小化。最小化后的总风险值称为贝叶斯风险，记为　，它是可获得的最优结果。 两类分类问题行为?1对应类别判决?1， ?2则对应?2 。为了简化符号，令那么可得两种行为的损失函数 决策 按照贝叶斯决策规则，为了使得条件风险最小, 如果　　　　　　　　　　　则判为 相反，则判为 用后验概率来表示，等价规则为 如果 则判为 否则，判决为通常： ？ 结合贝叶斯公式，用先验概率与条件密度来表示 后验概率，等价规则为 如果 则判为 否则，判决为 决策等价规则为 如果　 则判为 ； 否则，判决为（18）注意公式(18)的右边是与x无关的常数，因此可以视为左边的似然比超过某个阈值，则判为左图说明，如果引入一个0-1损失或分类损失，那么判别边界将由阈值 决定；而如果损失函数将模式 判为 的惩罚大于反过来情况，将得到较大的阈值 使得R1变小 2.3 最小误差率分类 当损失函数简化到所谓的“对称损失”或“0-1损失” 函数 这个损失函数将0损失赋给一个正确的判决，而将一 个单位损失赋给任何一种错误判决，因此所有误判都是 等价的。与这个损失函数对应的风险就是平均误差概率。因