第四章 线性判别函数 (2).ppt

第1页，共32页，星期日，2025年，2月5日1.按贝叶斯决策理论设计分类器的步骤这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此称为非参数判别分类方法。而以贝叶斯决策方法为基础的方法则称为参数判别方法。2.获取统计分布及其参数这部分是很困难的，实际问题中并不一定具备获取准确统计分布的条件，因此将模式识别的设计过程，主要是判别函数、决策面方程的确定过程改成第四章线性判别函数§4.1引言第2页，共32页，星期日，2025年，2月5日按照基于统计参数的决策分类方法，判别函数及决策面方程的类别确定是由样本分布规律决定的，例如，符合某种条件就可使用线性分类器。利用样本集直接设计分类器的基本思想：给定某个判别函数类，且假定判别函数的参数形式已知用训练的方法来估计判别函数的参数值分类决策在非参数判别方法的设计中，使用什么典型的分类决策方法要预先由设计者确定，然后利用训练样本集提供的信息进行训练与学习，从而确定这些函数中的参数。这是参数与非参数判别方法的一个重要不同点。4.1引言第3页，共32页，星期日，2025年，2月5日问题描述：4.1引言第4页，共32页，星期日，2025年，2月5日例如下图：三类的分类问题，它们的边界线就是一个判别函数。4.1引言第5页，共32页，星期日，2025年，2月5日判别函数包含两类：一类是线性判别函数：线性判别函数广义线性判别函数（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）分段线性判别函数另一类是非线性判别函数线性分类器的三种典型方法以Fisher准则为代表的传统模式识别方法，以感知准则函数为代表的机器自学习方法，以支持向量机代表的小样本学习理论。分段线性判别函数：近邻法这种方法主要依据同类物体在特征空间具有聚类特性的原理。同类物体由于其性质相近，它们在特征空间中应具有聚类的现象，因此可以利用这种性质产生分类决策的规则。4.1引言第6页，共32页，星期日，2025年，2月5日4.1引言第7页，共32页，星期日，2025年，2月5日§4.2线性判别函数线性判别函数：x的各个分量的线性函数或以x为自变量的某些函数的线性函数。对于c类问题：利用样本集估计参数wi和wi0，并把未知样本x归到具有最大判别函数值的类别中去。第四章线性判别函数第8页，共32页，星期日，2025年，2月5日线性判别函数的基本概念设样本d维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成其中w0是一个常数，称为阈值权。相应的决策规则可表示成g(x)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面。4.2线性判别函数第9页，共32页，星期日，2025年，2月5日线性判别函数的基本概念至于w0则体现该决策面在特征空间中的位置，当w0=0时，该决策面过特征空间坐标系原点，而时，则表示了坐标原点到该决策面的距离。为了说明向量w的意义，我们假设在该决策平面上有两个特征向量x1与x2，则应有其中(x1-x2)也是一个向量而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该决策平面将这两类样本按其到该面距离的正负号确定其类别。上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因此w就是该超平面的法向量。这就是向量w的几何意义。4.2线性判别函数第10页，共32页，星期日，2025年，2月5日线性判别函数的几何意义令决策面(decisionboundary)H方程：g(x)=0向量w是决策面H的法向量g(x)是点x到决策面H的距离的一种代数度量x1x2wxxprH:g=04.2线性判别函数第11页，共32页，星期日，2025年，2月5日x1x2wxxprH:g=0第12页，共32页，星期日，2025年，2月5日线性判别函数的几何意义令4.2线性判别函数第13页，共32页，星期日，2025年，2月5日线性分类器的设计步骤：给定样本集X，确定线性判别函数的各项系数w和w0。步骤：收集一组具有类别标志的样本X={x1,x2,…,xN}按需要确定一准则函数J，其值反映分类器的性能，其极值解对应于“最好”的决策。用最优化技术求准则函数J的极值解w*和w0*，从而确定判别函数，完成分类器设计。对于未知样本x，计算g(x)，判断其类别。4.2线性判别函数第14页，共32页，星