线性判别分析非参数判别分类方法第四次课详解.pptVIP

线性判别分析非参数判别分类方法第四次课详解演示文稿;（优选）线性判别分析非参数判别分类方法第四次课;3.2.2Fisher线性判决

Fisher线性判决的基本思想是寻找一个最好的投影方向,当特征向量x从d维空间映射到这个方向上时,两类能最好地分开。

这个方法实际上涉及特征维数的压缩问题。;;第一步：计算参量。

(1)各类样本的均值向量μi:;采用类似于人认知错误、纠正错误、通过自学习改善自己认识事物本领的过程，随意确定判别函数初始值，该值在对样本分类训练过程中逐步修正直至最终确定。

基本思想：寻找一个权向量，使规范化增广样本向量集的错分类样本数最少。;一、基本概念

1.线性可分性

已知来自ω1和ω2两类的样本集{x1,x2,…,xN},两类的线性判决函数为;2.样本的规范化

如果样本集{y1,y2,…,yN}线性可分,则一定存在某个或某些权向量v,使;3.解向量和解区

满足vTzi0(i=1,2,…,N)的权向量称为解向量。

若把v看成是权向量空间中的一点,对于任一zi,vTzi=0在权向量空间确定了一个超平面,这个超平面把权空间分为两个半空间,该超平面的法向量为zi,超平面正侧的向量满足vTzi0。;相应地,N个样本确定了N个超平面,每个超平面把权空间分为两个半空间。所以,满足vTzi0(i=1,2,…,N)的权向量必在这N个超平面正侧的交叠区,称这一交叠区为解区,解区中的任意向量都是解向量v*。;二、感知准则函数;设Z={z1,z2,…,zN}是经过规范化的一组样本集,

定义感知准则函数:;两点说明：

感知准则函数方法只是对线性可分样本集有效，而对线性不可分的样本集，该算法不能收敛。

这一节对感知准则函数的讨论，只是很初步的。但这种利用错误提供的信息，进行自修正的思想意义是十分深远的。这种只解决线性分类的感知器称为单层感知器，在此基础上发展起来的多层感知器在原理上能解决非线性分类、多类划分，以及非线性拟和非线性映射等多种问题。;3.2.4最小平方误差准则函数

设由X={x1,x2,…,xN}得到的规范化增广向量集合为

{z1,z2,…,zN},分类器设计的任务就在于寻找一个矢量v,

满足:;定义???差向量:;1.梯度下降法

对Js(v)求梯度;2.解析法

解析法得到的是伪逆解。令Js(v)=0得;3.3分段线性分类器

;线性判决函数只能解决线性可分问题。

在线性不可分的情况下，可以采用分段线性判别或二次函数判别等方法。

分段线性判决函数确定的决策面是由若干段超平面组成的。;与线性判别函数相比，分段线性判别函数设计中首先要解决的问题是分段线性判别函数的分段段数问题。

分段段数过少，其分类效果必然要差；但段数又要尽可能少，以免分类判别函数过于复杂，增加分类决策的计算量。

在有些实际的分类问题中，同一类样本可以用若干个子类来描述，这些子类的数目就可作为确定分段段数的依据。

在有些情况下样本分布及合适子类划分并不知道，往往需要采用一种聚类的方法，设法将样本划分成相对密集的子类，然后用各种方法设计各段判别函数。;把属于类ωi的样本区域Ri分为li个两两不相交的子区,对每个子类定义一个线性判决函数:;当类由多个子类构成时,其决策面方程是由各子类的判决函数确定的,若第i类的第n个子类和第j类的第k个子类相邻,则该段决策面方程为;3.3.2分段线性距离分类器;显然最小距离判别方法只有在各类别密集地分布在其均值附近时才有效。;右图所示情况，若企图再用每类一个均值代表点产生最小距离分类器，就会产生很明显的错误率。

在这种情况下，可以将各类别划分成相对密集的子类，每个子类以它们的均值作为代表点，然后按最小距离分类，可以有比较满意的效果。

对样本进行子类的合适划分是分段线性距离分类器性能好坏的一个关键问题。;归纳起来，如果对于ωi有li个子类，则有li个代表点，或者说将类ωi的样本区域Ri分为li个子区:;;设计分段线性分类器的前提条件是有一组已知类别的样本集,其关键在于解决以下两个问题:

(1)根据样本集确定子类数目及各子类的划分;

(2)利用样本集计算各子类判别函数的权向量和阈值权。

根据已知条件的不同,可以分别采取不同的方法。

;最初的近邻法是由Cover和Hart于1968年提出的，是非参数法中最重要的方法之一。

最小距离分类器将各类训练样本划分成若干子类，并在每个子类中确定代表点，一般用子