第2章 贝叶斯决策论 - 中山大学.pptVIP

Chapter 2 Bayesian Decision Theory– 贝叶斯决策论 实例:鲑鱼与鲈鱼 状态变量及概率 状态变量可被看作是随机变量 抓到鲑鱼与鲈鱼的事件是随机的 (均匀先验) (封闭性) 展开后我们得到 省略附加常量，等价于线性判决函数 其中 且 称 为第 i个方向的阈值或者偏置。 使用线性判别函数的分类器称为“线性机器”。这类分类器有许多有趣的 理论性质，其中一些将在第5章中详细讨论。此处只需注意到一个线性机器的判定面是一些超平面，它们是由两类问题中可获得最大后验概率的 线性方程 来确定。 在以上的例子中，该方程可写为 其中 且 此方程定义了一个通过 x0 且与向量 w 正交的超平面。由于 ， 将 Ri 与 Rj 分开的超平面与两中心点的连线垂直。若 则上式 右边第二项为零，因此超平面垂直平分两中心点的连线。如图 如果两种分布的协方差矩阵相等且与单位阵成比例，那么它们呈d维球状分布，其判决边界是一个d-1维归一化超平面，垂直于两个中心的连线。在这些一维，二维及三维的例子中，是假设在 的情况下来显示 和判决 边界的。 如果所有c类的先验概率 相等，那么 项就成了另一可省略 的附加常量。此种情况下，最优判决规则可简单陈述如下： 为将某特征向量 x 归类，通过测量每一个 x 到 c 个均值向量中的 每一个欧氏距离，并将 x 归为离它最近的那一类中。这样一个分类 器被称为 “最小距离分类器”。如果每个均值向量被看成是其所属模 式类的一个理想原型或模板，那么本质上是一个模板匹配技术。 如图：随着先验概率的改变，判决边界也随之改变；对于差别较大的离散先验概率而言，判决边界不会落于这些一维, 二维 及三维球状高斯分步的中心点之间。 情况2 ： 第二类简单的情况是所有类的协方差阵都相等，但各自的均值向量 是任意的。几何上，这种情况对应于样本落在相同大小和相同形状 的超椭球体聚类中，第 i类的聚类中心在向量 附近。此时的判决 函数可简化为 将二次型展开后，可再次得到线性判决函数 其中 由于判决函数是线性的，判决边界同样是超平面 其中 且 如果先验概率相等，其判决面与均值连线相交于x0点；若不 等，最优边界超平面将远离可能性较大的均值。如图 相等但非对称的高斯分布概率密度（由二维平面和三维椭球面表示）及判决区域。判决超平面未必和均值连线垂直正交。 * * * 要点： 引言 贝叶斯决策论(连续性特征) 最小误差率分类 分类器与判别函数 正态密度 正态分布的判别函数 贝叶斯决策论(离散性特征) 本章小结 2.1 引 言 仅根据先验信息的判定准则 若 ,则事件w1成立; 反之,则w2成立。 利用类条件概率密度: 及 描述了两种鱼类外观上亮度的差异。 注 : 假定的类条件概率密度函数图,显示了模式处于类别w1时观察某 个特定特征值 x 的概率密度.如果 x 代表了鱼的长度,那么这两条曲线可 描述两种鱼的长度区别.概率函数已归一化,因此每条曲线下的面积为1 后验,似然,证据因子及贝叶斯公式 介绍一些基本概念 P(w1 后验 = 似然 x 先验 / 证据因子 在先验概率 及图2-1给出的后验概率图.此情况下,假定一 个模式具有特征值 , 那么它属于w2类的概率约为0.08,属于\W1的概率 约为0.92.在每个x 处的后验概率之和为1.0 基于后验概率的决策准则 (x 表示观察值) 若 类别判定w1 若 类别判定w2 决策后所导致的错误率