01模式识别导论教程讲解.ppt

为什么特征不是越多越好 特征越多，测量的代价就越多 即使不考虑代价，加入冗余特征也不会提高分类效果，比如如果眼睛的颜色与宽度是完全相关的，则加入这一特征便不会提高分类效果 特征越多，模型就越复杂，分类边界也越复杂，尽管可以实现对样本的完美分类，却偏离了我们设计分类器的初衷 * 西安电子科技大学计算机学院 * 训练样本的完美分类 * 西安电子科技大学计算机学院 * 推广能力问题（Generalization） 分类器设计的核心目标是实现对未知样本的正确分类，也就是要有好的推广能力。 而一个过于复杂的决策界面一般来说不太可能有好的推广能力，它只是针对个别训练样本的调整，而没有真正地反映所要识别对象模型的本质特征。 结论：我们必须在训练样本的分类错误率和推广能力之间权衡以得到满意的设计 * 西安电子科技大学计算机学院 * 模式识别系统 * 西安电子科技大学计算机学院 * 信息获取 信息获取一般是通过某种传感器将光或声音等信息转化为电信息。信息可以是二维的图像如文字，指纹，地图，照片等；可以是一维的波形如心电图，脑电图，机械振动波形；也可以是物理量与逻辑值，前者如疾病诊断中病人的体温及各种化验数据，后者如对某参量正常与否的判断或对症状有无的描述等。此外，还可以是模糊值，如大，很大，比较大等。 * 西安电子科技大学计算机学院 * * 西安电子科技大学计算机学院 * 预处理 由感知器输入的信息往往需要进行适当的预处理， 图像识别中将图像从背景中分割出来 在语音识别中，区分单个的音素（phoneme） 合成对象的各个组成部分正确分组（‘i’有两个部分，但我们将它们识别为一个符号） 预处理可以去除噪声，加强有用的信息 预处理的方法：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等处理 特征提取和选择 一般由原始测量所获得的数据量是相当大的，为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征，这就是特征提取和选择的过程。 所选的特征必须使同类的样本相距较近，而不同类的样本相距较远，并对无关变换具有不变性，比如在前面鲈鱼 和鲑鱼的例子中，所选特征要对平移，旋转，伸缩等具有不变性 * 西安电子科技大学计算机学院 * * 西安电子科技大学计算机学院 * 分类决策 分类目标： 把特征空间划分成类型空间。 把未知类别属性的样本确定为类型空间的某一个类型 实际分类过程中，对于预先给定的条件，分类中出现错误是不可避免的。因此，分类过程只能以某种错误率来完成。显然，错误率越小越好。但是，分类错误率又受很多条件的制约：分类方法、分类器设计、选用的样本及提取的特征等。因此，分类错误率不能任意小。 * 西安电子科技大学计算机学院 * 分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。 分类决策：在特征空间中把被识别对象进行分类，归为某一类别。 分类决策 后处理 错误率和风险评估，从而改进设计，提高分类性能（从理论上估计最小错误率/风险，看我们设计的分类器还有多大差距） 利用上下文信息解释分类结果，提高分类性能 利用多个分类器来提高分类效果 * 西安电子科技大学计算机学院 * 模式识别的分类 监督模式识别/学习（supervised pattern recognition/learning） 非监督模式识别/学习，聚类（unsupervised pattern recognition/learning，clustering） 半监督模式识别（semi-supervised pattern recognition） * 西安电子科技大学计算机学院 * 监督模式识别 在机器学习里称为监督学习（supervised learning）,存在有已知样本的训练集，比如在鲈鱼和鲑鱼的例子里，有一定数量的训练样本，可以利用的先验信息相对比较多 * 西安电子科技大学计算机学院 * 非监督模式识别 给定的是未知样本集合，按其特征把相似的归为一类 在工程和社会科学中出现较多，比如多光谱遥感(multispectral remote sensing)，图像分割(image segmentation)，图像和语音编码(image and speech coding)等 关键是如何定义两个特征向量之间的相似性（similarity），并选择一个合适的度量 一般来说，不同的聚类算法会产生不同的聚类结果，需要专家来解释 * 西安电子科技大学计算机学院 * 半监督模式识别 其分类目标与监督模式识别相同，但是在已知样本之外还有一部分未知样本 一般出现在系统设计者只能得到很少的已知样本的情况下（用未知样本做进一步的补充） 也可以看成带有约束条件（已知样本）的聚类 * 西安电子科技大学计算机学院 * * 西安电子科技