2018年贝叶斯决策理论课件.ppt

情况三：各类协方差不同，决策面为为超二次曲面。 上述结果表示在二维特征空间里，如下图所示： 正态分布的判别函数 例：两类正态分布样本： 求决策面方程 令 求决策面方程为： 和 中点 偏下 分类器，判别函数，决策面 分类器最常用的表述方式为判别函数： 基于判别函数的判决 每个类别对应一个判别函数。 如果： 则模式为 分类器，判别函数，决策面 判别函数 Discriminant functions 分类器，判别函数，决策面 基于最小误差概率的贝叶斯分类器 分类器，判别函数，决策面 特殊的，对于两分类问题，也可以只用一个判别函数 令： 判决规则 例如： 如果： 则模式为 否则为 分类器，判别函数，决策面 判决区域: 判决区域 Ri 是特征空间中的一个子空间，判决规则将所有落入 Ri 的样本x分类为类别ωi。 决策面（Decision Surface）： 判决边界是特征空间中划分判决区域的（超）平面 在判决边界上，通常有两类或多类的判别函数值相等 分类器，判别函数，决策面 判别函数和决策面： 分类器，判别函数，决策面 分类器设计就是设计判别函数，求出判定面方程g(x)! 贝叶斯决策理论 引言 贝叶斯决策常用的准则 分类器，判别函数，决策面 正态分布的判别函数 Bayesian置信网 正态分布的统计决策 为什么研究正态分布？ 物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。 数学上比较简单：参数个数少 单变量正态分布 多元正态分布 正态分布的统计决策 单变量正态分布密度函数（高斯分布）： 正态分布的统计决策 多元正态分布函数 期望(均值向量) 协方差矩阵 (对称非负定) 多元正态分布的性质 参数个数：d+d(d+1)/2 均值向量：d个参数 协方差矩阵：对称的d维矩阵， d(d+1)/2个参数 等密度点的轨迹为一超椭球面 要使密度p(x)值不变，需指数项为常数，即： 超椭球面 多元正态分布的性质 马氏距离(Mahanlanobis Distance)： 与 欧式距离： 不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。 多元正态分布的性质 正态分布的随机变量，不相关等价于独立 边缘分布仍是正态分布 多元正态分布的性质 线性变换仍是正态分布 线性组合仍是正态分布（线性变换的特例） 一维正态随机变量 多元正态分布的性质 正态分布的判别函数 贝叶斯判别函数可以写成对数形式： 类条件概率密度函数为正态分布时： 正态分布的判别函数 情况一：各类协方差阵相等，且各特征独立，方差相等 情况二：各类协方差阵相等 情况三：各类协方差阵不相等 任意的 情况一： 将 代入 得到决策函数 展开决策函数 其中，二次项 对所有的 i 是相等的 因此，等价的判决函数为： 其中： 决策面 可以写成： 其中： 过 与 正交 的超平面 当 ， 但是，如果 当 ， 向先验概率小的方向偏移。 位于两中心的中点； 相对于平方距离 较小，那么判决边界的位置相 对于确切的先验概率值并不敏感。 在此情况下，最优判决的规则为： 为将某特征向量x归类，通过测量每一x到c个均值向量中 心的每一个欧氏距离，并将x归为离它最近的那一类。这样的 分类器称为“最小距离分类器”。 情况一：最小距离分类器 最小距离分类器 判决边界是d-1维超平面，垂直于两类中心的连线 情况一：最小距离分类器 上述结果表示在二维特征空间里，如下图所示： 　　可以推广到多类的情况，注意这种分类方法没有不确定的区域。 向先验概率 两类判决面与 垂直， 的中点 时 其交点为 为 时 较小类型的均值点偏移。 各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值　为中心的同样大小和形状的超椭球内。 情况二： 决策函数 不变，与i无关： 一个特例：当 时，各样本先验概率相等。 其中： 为x到均值点 的“马氏距离” （Mahalanobis）的平方。 对于样本x 只要计算出 ，把x归于 最小的类别。 进一步简化： 一般地，决策函数 展开决策函数 对所有的 i 是相等的，则 其中 决策面 可以写成： 其中： 过 与 正交 的超平面 由于 并非沿着 方向，因此分界面并非与均值 间的连线垂直正交。 当各类先验概率不相等时，　不在　　　的中点上，而是偏向先验概率较小的均值点。 上述结果表示在二维特征空间里，如下图所示： 当各类先验概率相等时，判决面与　　　的交点 时 决策面向先验概率小的方向偏移 情况三：任意的 去掉与i无关的项： 可以写为： 其中二次项，一次项系数和常数项分别为： 由于： ——对应