东华理工模式识别小抄.docVIP

模式识别的定义： 所谓模式识别是根据研究对象的特征或属性，利用以计算机为中心的机器系统运用一定的分析算法认定它的类别，系统应使分类识别的结果尽可能地符合真实。 模式识别系统的主要环节： 1特征提取2特征选择3学习和训练4分类识别 特征空间和特征矢量 能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量 表示，称之为特征矢量，记为 模式识别三大任务：模式采集： 从客观世界（对象空间）到模式空间的过程称为模式采集。 特征提取和特征选择：由模式空间到特征空间的变换和选择 类型判别：特征空间到类型空间所作的操作。 聚类分析的基本思想：相似的归为一类，不相似的作为另外一类。 分类无效时的情况：1特征选取不当使分类无效 2特征选取不足可能使不同类别的模式判为一类 3特征选取过多可能无益反而有害，增加分析负担并使分析效果变差 4量纲选取不当，也可使分类无效 距离测度（差值测试） 测度基础：两个矢量矢端的距离 测度数值：两矢量各相应分量之差的函数。 欧氏(Euclidean)距离： 绝对值距离： d(x,y)=nΣi=1 |Xi-Yi| 结论：马氏距离对一切非奇异线性变换都是不变的！ 匹配测度：此时，若对象有此特征，则相应分量定义为1，而相应分量为0表示对象无此特征，这就是所谓的二值特征。 Tanimoto测度： 例题：设两个矢量 x=（0，1，0，1，1，0）‘ ，y=（0，0，1，1，0，1）’ 可算得： x‘x=3，y’y=3，x‘y=1 则： Rao测度 简单匹配系数： Dice系数： （7）Kulzinsky系数： 基于类内，类间距离的准则函数： 设待分类模式集｛Xi；i=1，2，…..N｝，将它们分成c类，Wj类含nj个模式，分类后个模式记为｛X（j）i；j=1，2，….,c;i=1,2,…,nj｝。 例题：证明： 聚类准则函数： 谱系聚类法：（系统聚类法，层次聚类法） 算法思想：首先将 N 个模式视作各自成为一类，然后计算类与类之间的距离，选择距离最小的一对合并成一个新类，计算在新的类别分划下各类之间的距离，再将距离最近的两类合并，直至所有模式聚成两类为止。例题：P29页。 例题：给出6个样本特征矢量如下，按最小距离原则进行聚类： X1=(0,3,1,2,0) X2=(1,3,0,1,0) X3=(3,3,0,0,1) X4=(1,1,0,2,0) X5=(3,2,1,2,1) X6=(4,1,1,1,0) 解答：P29页 自己抄上去太长了。。 C-均值法 基本思想：该方法取定 C个类别和选取 C个初始聚类中心，按最小距离原则将各模式分配到 C类中的某一类，之后不断地计算类心和调整各模式的类别，最终使各模式到其判属类别中心的距离平方之和最小。 算法步奏： 任选C个模式特征矢量作为初始聚类中心：z1，z2，z3，。。。。zc，令K=0 将带分类的模式特征矢量集｛Xi｝中的模式诸葛按最小距离原则分划给c类中的某一类。 计算重新分类后的各类中心 如果Z 改进算法： 该章习题答案：2.7 试用最大最小距离聚类算法对样本集X进行聚类，。 解： Step1.选第一个类心； 找距离最远的样本作为第二个类心； 计算； 取参数?=0.3；求距离门限 Step2.对剩余样本按最近原则聚类: 所有样本均已归类，故聚类结果为：，。 2.8 对2.7题中的样本集X，试用C-均值算法进行聚类分析。 解：取类数C=2 Step1.选初始类心，第一个类心； Step2. 按最近原则聚类: 由图示可知，，其余样本距离较近，所以第一次聚类为：， Step3.计算类心： Step4.若类心发生变换，则返回Step2,否则结束。计算过程如下： 同理可得 所以第二次聚类为：， 计算新的类心： 同上，第三次聚类为：， 各样本类别归属不变，所以类心也不变，故结束 线性可分：对于来自两类的一组模式X1,X2,….Xn，如果能用一个线性判别函数正确分类则称他们是线性可分的，否则成为非线性可分。 例题： 根据结论得出X归属于W2 Fisher线性判别： Fisher判别规则为: 感知器算法： 对初始的或迭代中的增广权矢量W，用训练模式检验它的合理性，当不合理时，对其进行校正，校正方法实际上是最优化技术中的梯度下降法。 最小误判概率准则判决： 判决规则：如果： 则 等价判决规则： 例题： 模式分布如图所示，两类的均矢和协方差阵可用下式估计。 解： 假设 判决