《模式识别》实验指导书.docVIP

《模式识别》实验指导书 实验一：贝叶斯分类实验 学时：4学时 实验目的：设计简单的线性分类器，了解模式识别的基本方法。掌握利用贝叶斯公式进行设计分类器的方法。 实验内容： 1 简单分类：有两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如20个）样本点，假设每类样本点服从二维正态分布，自己随机给出具体数据，计算每类数据的均值点，并且把两个均值点连成一线段，用垂直平分该线段的直线作为分类边界。再根据该分类边界对一随机给出的样本判别类别。画出如下图形。 提示： 1．可以入下产生第一类数据： % x1是第一类数据，每一行代表一个样本（两个特征） x1 :,1 normrnd 10,4,20,1 ; x1 :,2 normrnd 12,4,20,1 ; % 第2类数据 x2 :,1 normrnd 15,4,20,1 ; x2 :,2 normrnd 13,4,20,1 ; 2．可假设分类边界为 kx-y+b 0，根据垂直平分的条件计算出k和b。 3．如果新的样本点代入分类边界方程的值的符号和第一类样本均值代入分类边界方程的符号相同，则是判断为第一类。 2 贝叶斯分类：根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式，用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如20个）样本点，假设每类样本点服从二维正态分布，随机生成具体数据，然后估计每类的均值与协方差，在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。 提示： 若第一类的样本为，则第一类均值的估计为，协方差的估计为。若若第一类的样本为： 则均值的估计为： 协方差的估计为： 分类边界可用专门绘制隐函数的ezplot来绘制。若求出了和，如： w [ -0.4127, -0.1641]’; x0 [12.2197, 12.5141]’; 则可用: fh @ x,y w* [x,y]-x0 ; %判别函数表达式 ezplot fh,[0,20] %画出判别边界 情况1. 两类协方差相同且和单位阵成比例的情况下的分类边界为： 其中 ， 判别边界是一条直线，且垂直于均值的连线，但不一定通过连线的中点。如下图： 情况2. 两类协方差相同且和单位阵不成比例的情况下的判别函数为： 其中 ，。 判别边界仍是一条直线，但不垂直于均值的连线。 情况3. 两类协方差不相同的情况下的判别函数为： 判别边界为g1 x -g2 x 0，是一条一般二次曲线（可能是椭圆、双曲线、抛物线等）。 可用ezplot来绘制隐函数： % 情况3. 两类协方差e1和e2不相同的情况下： W1 -1/2*inv e1 ; w1 inv e1 *u1; w10 -1/2*u1*inv e1 *u1-1/2*log det inv e1 +log 2/5 ;%假设w1的先验概率为2/5 W2 -1/2*inv e2 ; w2 inv e2 *u2; w20 -1/2*u2*inv e2 *u2-1/2*log det inv e2 +log 3/5 ;% 假设w2的先验概率为3/5 fh @ x,y [x,y]* W1-W2 *[x,y]+ w1-w2 *[x,y]+w10-w20;% 判别函数表达式 ezplot fh,[0,20] %画出判别边界 实验二：KL变换实验 学时：4学时 实验目的： 掌握特征提取的基本方法。 掌握基于KL变换的特征提取的方法。 培养学生灵活使用KL变换进行模式识别的能力。 实验内容： 给出ORL人脸数据库，共有400幅人脸图像（40人，每人10幅，大小为92*112象素）。其中第一个人的图像如下图： 选取数据库中的部分样本（每个人的前5张图片）作为训练样本，其余作为未知的测试样本。从训练样本中得到KL变换矩阵，然后对训练样本和测试样本都进行变换，用变换后的数据作最近邻识别，距离可以为对应灰度值之差的平方和，统计识别率。 KL变换方法简介： 设图像数据库图像大小为WidthHeight，令 WidthHeight，则每幅图像可以用按行或者按列堆成一个维向量表示。 令，其中。 特征脸方法 KL变换方法 是从PCA方法导出的。PCA方法就是要寻找正交归一的变换矩阵，，使得判别准则达到最大，即。也就是在的正交变换后使得总体散度矩阵的迹最大，即各个样本分离得尽量远，将样本的方差尽量的保留下来，和原样本的均方误差尽量小。 可以证明求得就是对应于矩阵的前个最大的特征值的特征向量。即的各列向量是下面特征方程的解： 显然，变换后的是一个对角阵，对角线上的元素为相应的特征