模式识别导本(二).pptVIP

作业 ③ （高级题，选做）用马氏距离法进行TM图像监督分类，并给出分类结果评价（用混淆矩阵），基本要求：训练样区的选择可以用其他软件如photoshop来实现，TM用1,2,3,4,5,7这六个波段，图像格式自己定义。数据量不作要求，结果用专题图的形式表示（用不同色斑表示不同地物类别），数据自己找，分类数量不少于4类。提高要求：训练样区自己选择，数据量可以任意，算法实现按照软件工程化的原则，算法是以库或组件的形式可以发布（网上或者组件产品）。 判别函数：类条件概率密度用正态来表示： 最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况) 决策面方程： 判别函数： 最小距离分类器：未知x与μi相减，找最近的μi把x归类 如果M类先验概率相等： 当各类先验概率不相等的时候： 2、第二种情况：Σi＝ Σ相等，即各类协方差相等。 第一类 第二类 其中μ为均值向量，Σ 为协方差矩阵 欧氏距离和马氏距离之间的差别： 欧氏距离来说应该是属于第一类 例子：二维两类问题，设都服从正态分布，协方差矩阵一样 计算向量 到这两类的欧氏距离和马氏距离 可见，给定的向量和第一类的中心比较近。但如果从欧氏距离类看，则是相反的，下图 3、第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。 贝叶斯决策分类器大都涉及类概率密度函数，对于正态分布模式，其概率密度函数可通过均值向量和协方差矩阵的估算而确定。在无法用参数表征概率密度函数时，则可以通过某些函数来近似地表示 概率密度函数的估计 一般以模式样本的平均作为均值向量的近似值。设某类的模式样本数为N，其均值向量估计量 当无法用参数表征概率密度函数时，则需要选取某种基函数作近似估计 其中 是权函数。如果将 写成m项展开式 其中 为待定系数， 为基函数，将此式代入（2-4-7 由于式中右边为 的数学期望，可用N个样本的均值来近似 由于一般选择正交函数集 作为基函数，故有 书上例子，自学。注意Hermite多项式查阅有关数学参考书 关于分类器的错误率分析 1、一般错误率分析： R1 R2 2、正态分布最小错误率(在正态分布情况下求最小错误率) Bayes分类的算法（假定各类样本服从正态分布） 1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(N×n)。并计算有关参数。 3.计算矩阵X中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算X中各样本属于各类时的风险并判定各样本类别。 例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？ 解1、假定二类协方差 矩阵不等（∑1≠∑2） 则均值: 训练样本号k 1 2 3 4 5 1 2 3 4 特征 x1 特征 x2 1 1 0 -1 -1 0 1 0 -1 0 1 1 1 0 -1 -2 -2 -2 类别 ω1 ω 2 解2、假定两类协方差矩阵相等∑=∑1+∑2 训练样本号k 1 2 3 1 2 3 1 2 3 特征 x1 0 1 2 -2 -1 -2 0 1 -1 特征 x2 1 0 -1 1 0 -1 -1 -2 -2 类别 ω1 ω2 ω3 解1、假定三类协方差不等； 例2：有训练集资料矩阵如下表所示，现已知， N=9、N1=N2=3、n=2、M=3，试问，未知样本 X=(0,0)T应属于哪一类？ 可得三类分界线如图所示： 解2、设三类协方差矩阵相等 可得三类分界线如图所示： 作业：①在下列条件下，求待定样本x=(2,0)T的类别，画出分界线，编程上机。 1、二类协方差相等，2、二类协方差不等。 训练样本号k 1 2 3 1 2 3 特征x1 1 1 2 -1 -1 -2 特征x2 1 0 -1 1 0 -1 类别 ω 1 ω 2 作业：②有训练集资料矩阵如下表所示，现已知， N=9、N1=N2= N3=3、n=2、M=3，试问，X=(-2,2)T应属于哪一类？ 要求：用两种解法a、三类协方差不等；b、三类协方差相等。 编程，画出三类的分界线。 训练样本号k 1 2 3