模式识别第5讲.pptVIP

模式识别 模式识别——原理、方法及应用 第5次课程概要 统计分类 线性判别 最小距离分类器 欧几里得线性判别 马氏距离线性判别 Fisher线性判别 最小距离(模板匹配)分类器 软木塞数据集 2类 1维 将两类的均值点作为“典型模式”， 样本根据与典型模式的距离，划分到离它们最近的那个“典型模式”所代表的类中 分类规则 如果|x-55.28||x-79.74| 那么 x∈ω1，否则x ∈ω2 改写分类规则 原分类规则 如果|x-55.28||x-79.74| 那么 x∈ω1，否则x ∈ω2 可改写为 如果x67.51，那么x∈ω1，否则x ∈ω2 67.51为欧几里得距离下，两个均值点的中值点。 67.51为就是用于分类的“超平面” 该分类器的性能评判 增加一个特征 x = [N PRT10]’ 2维空间里，利用欧氏距离的最小距离分类器的决策步骤 画出决策面（到均值点距离相等的直线），它垂直于连接均值点的线段并通过线段的中点 位于直线上方的点属于ω2位于直线下方的点属于ω1落在直线上，则任意分类 最小距离分类器系统图 欧几里得线性判别 回顾：2维特征向量空间二分类问题在欧氏距离下运用最小距离分类器的例子。 扩展：将该分类器扩展到任意的d维特征向量x、任意的类别数ωk（k=1…c） 特征向量x与典型模式之间的欧几里得距离平方 欧几里得线性判别——决策 特征向量x与典型模式之间的欧几里得距离平方 选择使得上式最小的类ωk 。 假设类别数为2，则类之间对应的决策边界可如右式表达 欧几里得线性判别——c类情况 欧几里得线性判别——距离最小化与决策函数最大化 最小化距离等价于最大化决策函数 欧几里得线性判别——进一步了解 假设类别数为2 对坐标轴进行转换，考虑新的特征向量y y = x – 0.5(m1+m2) 在新坐标系下 ||m1|| = ||m2|| 分类决策就是要最大化mi和y之间的点乘，两个向量的夹角越小，点乘值越大，夹角为0得到最大值 欧几里得线性判别——几何表示 马氏距离线性判别 回顾：马氏距离适合于解决协方差不相等以及特征之间相互关联的情况 假设：所有类别具有一个相同的协方差矩阵C（每类样本分布都有一个相似的椭圆形状） 特征向量x与典型模式之间的马氏距离 马氏距离线性判别——决策函数 马氏距离线性判别——协方差矩阵 注意我们之前的一个假设：所有类别具有一个相同的协方差矩阵C 但是，实际应用中，不能保证所有类的协方差矩阵相同 一个幸运的事实：如果偏差不是太大，决策面对它不很敏感 一般情况下，利用总体协方差矩阵作为各类别协方差矩阵的平均值 马氏距离2类1个特征的决策函数系数 两类的均值点m1=[55.28] m2=[79.74] 平均方差s2=287.6296 w1=m1/s2=[0.19219]; w10=-0.5||m1||2/s2=-6.00532 w2=m2/s2=[0. 27723]; w20=-0.5||m2||2/s2=-11.7464 马氏距离2类2个特征的分类结果 与欧式距离分类器相比，总错误率由18%降到了10% 由于马氏距离考虑了样本聚类的形状，得到这个结果是合理的 马氏距离2类2个特征的决策函数系数 2类2特征软木塞欧式和马氏距离下的超平面 基于不同协方差矩阵的最小距离分类器 Fisher线性判别 回顾：前面章节讨论过非监督学习情况下减少向量维数的问题 监督学习下，利用训练集上的标签信息，设计一个从高维问题到低维问题的映射，要求变换后的数据具有性质： 同类样本尽可能聚集在一起 不同类样本尽可能地远 Fisher线性判别——两类问题(1) 变换前的空间 类别的均值向量分别为m1，m2； 样本总类内离散度矩阵Sw； 样本类间离散度矩阵SB； 在降维后的空间里 各类样本均值为mi*=w’mi； 样本总类内离散度矩阵Sw*=w’Sww 样本类间离散度矩阵SB*=w’SBw Fisher线性判别——两类问题(2) 变换后 各类样本内部尽可能密集，即总类内离散度越小越好 各类样本之间尽可能离得远，即样本类间离散度越大越好 据此可得到准则函数J，使得准则函数最大的w即为要求的变换系数 Fisher线性判别——两类问题(3) 确定判别阈值y0 右边给出了一个阈值的确定方法 Fisher线性判别的决策规则 对于某一个未知样本x，如果y=w’x y0，则x∈ω1，否则x∈ω2 * * 第1类样本均值m1=55.28 第2类样本均值m2=79.74 注意：我们没有估计该分类器在独立样本上的错误率 划分两类ωi和ωi的决策超平面通过连接均值点线段的中点，与向量C-1(mi-mj)相互正交。 Mi是转换后得到的结果 *