第四节 线性判别函数1.pptVIP

例2 4.3 Fisher线性判别 试用Fisher准则求取最佳投影方向，并对(1,2,1)T样本进行分类。 解： 4.3 Fisher线性判别 解： 4.3 Fisher线性判别 * ????????????? ?????????????? ???????????? ??????????? ???????????? ????????????? ????????????? ????????????? ????????????? 模式识别 第四章非参数判别分类方法 ——线性分类器 线性判别函数（1） 1.按贝叶斯决策理论设计分类器的步骤 这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此称为非参数判别分类方法。而以贝叶斯决策方法为基础的方法则称为参数判别方法。 2.获取统计分布及其参数这部分是很困难的，实际问题中并不一定具备获取准确统计分布的条件，因此将模式识别的设计过程，主要是判别函数、决策面方程的确定过程改成 第四章 线性判别函数 §4.1 引言 按照基于统计参数的决策分类方法，判别函数及决策面方程的类别确定是由样本分布规律决定的，例如，符合某种条件就可使用线性分类器。 利用样本集直接设计分类器的基本思想： 给定某个判别函数类，且假定判别函数的参数形式已知 用训练的方法来估计判别函数的参数值 分类决策 在非参数判别方法的设计中，使用什么典型的分类决策方法要预先由设计者确定，然后利用训练样本集提供的信息进行训练与学习，从而确定这些函数中的参数。这是参数与非参数判别方法的一个重要不同点。 4.1 引言 问题描述： 4.1 引言 例如下图：三类的分类问题，它们的边界线就是一个判别函数。 4.1 引言 判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数 线性分类器的三种典型方法 以Fisher准则为代表的传统模式识别方法， 以感知准则函数为代表的机器自学习方法， 以支持向量机代表的小样本学习理论。 分段线性判别函数：近邻法 这种方法主要依据同类物体在特征空间具有聚类特性的原理。同类物体由于其性质相近，它们在特征空间中应具有聚类的现象，因此可以利用这种性质产生分类决策的规则。 4.1 引言 4.1 引言 §4.2 线性判别函数 线性判别函数：x的各个分量的线性函数或以x为自变量的某些函数的线性函数。 对于c类问题： 利用样本集估计参数wi和wi0，并把未知样本x归到具有最大判别函数值的类别中去。 第四章 线性判别函数 线性判别函数的基本概念 设样本d维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成 其中 w0是一个常数，称为阈值权。相应的决策规则可表示成 g(x)＝0就是相应的决策面方程，在线性判别函数条件下它对应d维空间的一个超平面。 4.2 线性判别函数 线性判别函数的基本概念 至于w0则体现该决策面在特征空间中的位置，当w0=0时，该决策面过特征空间坐标系原点，而 时，则 表示了坐标原点到该决策面的距离。 为了说明向量w的意义，我们假设在该决策平面上有两个特征向量x1与x2，则应有 其中(x1-x2)也是一个向量 而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该决策平面将这两类样本按其到该面距离的正负号确定其类别。 上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因此w就是该超平面的法向量。这就是向量w的几何意义。 4.2 线性判别函数 线性判别函数的几何意义 令 决策面(decision boundary)H方程：g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量 x1 x2 w x xp r H: g=0 4.2 线性判别函数 x1 x2 w x xp r H: g=0 线性判别函数的几何意义 令 4.2 线性判别函数 线性分类器的设计步骤： 给定样本集X，确定线性判别函数 的各项系数w和w0。步骤： 收集一组具有类别标志的样本X={x1,x2,…,xN} 按需要确定一准则函数J，其值反映分类器的性能，其极值解对应于“最好”的决策。 用最优化技术求准则函数J的极值解w*和w0* ，从而确定判别函数，完成分类器设计。 对于未知样本x，计算g(x)，判断其类别。 4.2 线性判别函数 换一个方式说：