模式识别问题概述.ppt

1、观测量的获取（图像获取）：首先通过摄像机获取图像，然后采用图像分割技术，得到单个物理对象的图像。第6页,共29页，星期六，2024年，5月2、特征提取：抽取关键特征，并根据这些特征对物理对象进行分类。

长度特征:根据长度进行分类

salmon一般较短，seabass一般较长第7页,共29页，星期六，2024年，5月亮度特征：根据亮度进行分类

salmon一般较暗，seabass一般较亮第8页,共29页，星期六，2024年，5月特征向量：提取一组特征，构成特征向量，根据特征向量进行分类。

特征向量=（亮度、宽度）；x=(x1,x2);

特征空间:特征向量所有可能的取值的集合

样本:(x,y),x:该样本对应的特征向量

y:该样本的类别，y=+1(salmon),或y=-1(bass)第9页,共29页，星期六，2024年，5月在特征空间中构造一个分类面，对两类样本进行分类。第10页,共29页，星期六，2024年，5月3、分类器的训练：根据已有的一组样本（样本集），构造一个判决函数d(x)，根据d(x)实现对两类样本的正确分类。我们希望d(x)尽可能满足：对于第一类样本(x,y),y=1:d(x)0或sign(d(x))=1对于第二类样本(x,y),y=-1:d(x)0或sign(d(x))=-1其中，d(x)=0称为分类器的分类面。这一过程称为分类器的训练过程，在训练过程中使用的样本，称为训练样本。由训练样本构成的集合，称为训练集。判决函数d(x)可以采用多种不同的函数模型，常用模型有线性模型、多项式模型、神经网络模型等。在本例中我们可以采用线性模型d(x)=w.x+b.因此，分类器训练的任务就是，根据训练样本确定线性分类器的权系数w及偏差项b。采用所得分类器对训练样本进行分类时的错误率，称为训练误差。第11页,共29页，星期六，2024年，5月4、分类器的测试：在分类器训练过程结束后，需要采用一些新的样本对分类器的分类性能进行测试，这些样本称为测试样本。由测试样本构成的集合称为测试集。测试过程：对于测试样本(x,y),y=1,如果d(x)0则分类正确。对于测试样本(x,y),y=-1,如果d(x)0则产生一个分类错误。分类器对测试样本集进行分类时的错误率，称为测试误差。训练误差、测试误差统称为经验误差。分类器优化的原则应该是使测试误差近可能小。第12页,共29页，星期六，2024年，5月分类器的应用：在对分类器进行训练及测试，并最终确定了分类器的判决函数以后，就可将分类器投入实际应用。在实际应用中，我们只能观测到物理对象的特征向量，但是并不知道该对象的类别。为此，我们采用分类器的判决函数对其类别进行预测（即分类）。对于观测到的特征向量x：如果d(x)0，则判y=1（物理对象属于第一类）如果d(x)0，则判y=-1（物理对象属于第二类）第13页,共29页，星期六，2024年，5月5、分类器的设计过程第14页,共29页，星期六，2024年，5月6、分类器设计过程中需要考虑的一些关键因素：(1)两类不同样本的特征向量的真实分布：特征向量的概率分布决定了分类器在实际应用中的真实分类能力（泛化能力）。特征向量的概率分布通常是未知的。因此分类器的泛化能力也是未知的。但是，分类器的真实分类能力可以通过测试误差进行初步的估计。(2)训练样本及测试样本的数量：越多越好，但是在实际应用中，获取大量的样本通常需要付出很大的代价。第15页,共29页，星期六，2024年，5月(3)分类器的复杂度选择：采用复杂度高的分类器可以获得较小的训练误差。但是，随着分类器复杂度的进一步提高，伴随着训练误差的降低，分类器的测试误差却会开始变大。这一现象称为过度拟合（过学习）。过度拟合的出现，意味着分类器泛化能力的降低。它说明在分类器的设计过程中，分类器（也即判决函数）的复杂度应该受到适当的限制。分类器复杂度选择的两个基本原则：1、Occamrazor原则：为了保证泛化能力，在经验误差相近的条件下，应该选择复杂度较低的分类器。2、统计学习理论：为了保证泛化能力，分类器的复杂度应与可用样本的数量相平衡。样本数量较多时，采用复杂度高的分类器才更可靠。第16页,共29页，星期六，2024年，5月分类器复杂度过高：分类器复杂度过高，出现过度拟合，泛化能力可能会有所