基于贝叶斯决策理论的分类器(1)资料.pptVIP

* 到此为一讲内容 多类情况下，设 最小错误率的Bayes决策规则的四种等价形式 2. 决策面方程 各决策域R被决策面所分割，这些决策面是特征空间中的点、直线、超曲面，相邻的两个决策域在决策面上其判别函数相等。 决策面方程应满足 gi (x) = gj (x) gij(x) = gi(x)－gj(x)=0 i≠j 且i与j为相邻的两类。 一维、三类 二维、二类 只有两类的分界面： x为一维，决策面为一分界点；如图(a) x为二维，决策面为一曲线；如图(b) x为三维，决策面为一曲面； x为d维，决策面为一超曲面 (b) 3. 分类器设计 在d维特征空间内，划分为c个决策区域。 ⑴ 多类： 根据各类训练集样本x计算得到c个判别函数gi，将待分样本计算gi，从中选择最大值作为类决策。 分类器可看成由硬件或软件组成的一个“机器”。 ⑵两类： 两类分类器可看作只是对x计算判别函数的一个“机器”，根据计算结果的符号将x分类。 例4 对例1和例2分别列出判别函数和决策面方程 例1. 判别函数 决策面方程 例2. 判别函数 决策面方程： §4 正态分布的Bayes决策 大量随机变量服从正态分布, 而且数学上容易处理, 因此以正态分布为例来说明。 1.正态分布函数和性质 ⑴单变量的正态分布概率密度函数 性质：p(x)由m, s 2确定。随机变量 x 集中在均值m附近, 其分散度正比于标准差s, 95%样本落入|x -m| 2s范围内。 ⑵多元(维)正态分布的概率密度函数 ⑶多元正态分布的性质： ①参数 m 和 S 决定分布形状 概率密度函数由d+d(d+1)/2个数目的参数唯一确定，其中d为均值数，d(d+1)/2为协方差数。 通常记为 。 ②等概率密度点的轨迹为一超椭球面 x大部分落在以均值向量m为中心，大小由协方差矩阵S确定的区域。 指数项为常数的x点即为 等概率密度。因此超椭 球的方程应是 超椭球主轴方向由S的本征向量确定，其长度与协方差矩阵的本征值l平方根成正比。 证明：中心移到坐标原点m=0， ，可用这约束条件构造Lagrange函数，求极值得到。 在数理统计中，定义 称x到m 的Mahalanobis(马氏)距离平方。 所以等概率密度点的轨迹是x到μ的马氏 距离为常数的超椭球面。 ③在正态分布中不相关性等价于独立性。 若两个随机变量xi和xj间 对多元正态的任意两个分量xi和xj来说两者等价。 如果xi和xj是统计独立， ∑中xi 的方差sii2, xi和xj 的协方差sij2, 则sij2＝0, ∑为对角矩阵。则 x= (x1,···,xd)T各分量是相互独立的正态分布随机变量。 ④多元正态分布的边缘分布和条件分布具有正态性 ⑤线性变换的正态性： x为多元正态分布的随机向量，其均值向量为 m，协方差矩阵为S。对x作线性变换，即 y = Ax A为线性变换矩阵，且非奇异，变换后服从均值向量为Am，协方差矩阵为A∑AT的多元正态分布。 p(y) ~ N(Am, A∑AT) ⑥线性组合的正态性 x为多元分布的正态随机向量，则线性组合y=aTx 是一维的正态随机变量, a是与x同维向量 p(y)~N(aTm, aT∑A) 2. 正态分布的最小错误率的Bayes分类 条件概密函数 判别函数 决策面方程 根据相邻的决策域在决策面上的判别函数相等， 下面讨论几种不同的情况： ⑴ Si=s 2I, i =1, 2,···,c ⑵ Si＝S ⑶ Si≠Sj