[工学]线性判别函数.pptVIP

分段线性判别函数设计中首先要解决的问题：分段线性判别函数的分段段数问题，这是一个与样本集分布有关的问题。 分段段数过少，就如上图中用一个线性判别函数(段数为1)的情况，其分类效果必然要差；但段数又要尽可能少，以免分类判别函数过于复杂，增加分类决策的计算量。在有些实际的分类问题中，同一类样本可以用若干个子类来描述，这些子类的数目就可作为确定分段段数的依据。但多数情况下样本分布及合适子类划分并不知道，则往往需要采用一种聚类的方法将样本划分成相对密集的子类，然后用各种方法设计各段线性判别函数。 分段线性判别函数的一般形式可定义为： (4.8-1) 其中 表示第i类第l段线性判别函数，li为i类所具有的判别函数个数， 与 分别是第l段的权向量与阈值权。相应的判别规则是： 其中： (4.8-2) 则决策： 则称为第i类的判别函数。 决策面方程取决于相邻的决策域，如第i类的第n个子类与第j类的第m个子类相邻，则由它们共同决定的决策面方程为: (4.8-3) 基于距离的分段线性判别函数 前面讨论过正态分布条件下，两类别问题在各特征统计独立、同方差、且先验概率相等情况下，最小错误率决策可按最小距离决策，即 (4.8-4) 其中 与 为各类的均值。 基于距离的线性判别 (a) (b) 图(a)用每个类的特征向量的均值作为各类的代表点 图(b)先把各类分成分布相对集中的几个子类，每个子类用子类的特征向量的均值作为各类的代表点。即：如果对于ωi有li个子类，则有li个代表点，或者说把属于ωi的决策域Ri分成li个子域，即 对每个子区域Ril均值用mil表示，并以此作为该子区域的代表点，则判别函数定义为 ： 判别规则是： 这种分类器就称为分段线性距离分类器。 对感知器算法修改为： ① 置k=0，选初值w(0)=0，c=1，给较小正数T。 ② 输入训练样本 xk, ③ 计算： ④ 判断：若 ,返回②，否则继续。 ⑤ 令 若所有样本均不进入⑤，则算法结束。 从算法中可以看出： 返回② 两边乘以解向量w*: (由算法的③④知道) 由于： 归一化： 4.4 感知器 4.4 感知器 因此： 分别计算出 代入上式得： 令：c(k)表示两个向量w*与w(k)之间的夹角余弦，则： 又因为： ，令： 则有： 所以，k是一个有限的值，步骤⑤仅需有限次数就可以得到w*。即在线性可分的情况下，感知器训练算法一定收敛。正数T越小，则收敛越慢(k值越大)。 4.4 感知器 感知器训练算法在多类问题中的应用(推广) 在前面介绍的多类问题中的第三种情况是没有不确定区域的，对于c种类型中的某一种类型wi，存在k个判决函数，如果样本 ，则 ，其中k取决于在特征空间中与wi类型相邻的类型数目， 。 采用感知器训练算法求解上面这种情况的权向量的解向量w*，实现步骤为： ① 赋给初始值：分别赋给c个权向量 任意的初值，选择正常数c，把训练样本变为增广型模式向量，置 k=0。 ② 输入训练样本 ，假定 ③ 计算c个判决函数值： ④ 修正权向量。修正规则为： 若： 4.4 感知器 若： ⑤ 令k=k+1，返回②。直到所有的权向量对所有训练样本都稳定不变时结束。只要模式样本线性可分，则算法迭代有限次后收敛。 例：已知三类训练样本：w1=(0,0)T， w2=(1,1)T， w3=(-1,1)T 试求解 ， ， 。 解：训练样本变成增广型模式向量： x的下标就是它所属类型，且没有一个样本乘以(-1)。置 K=0 , c=1。 赋初值： 开始迭代： ≯ ≯ 4.4 感知器 所以： ≯ 所以： 4.4 感知器 所以： ≯ ≯ 所以： 4.4 感知器 所以： 所以： 因此，可得到3个解向量： 对应的三个判决函数 练习：根据上面的判决函数结果，求出各个分界面方程，并在坐标图上表示出来。 4.5 最小平方误差准则函数与H-K算法 最小平方误差准则 任意给定一个小的正数b，则可在线性判别方程的解区里寻找一个解向量w，使之满足： ，假定有n个训练样本，则可以写成n个联立方程组： 其中： 上式方程组可化简为： ，x为训练样本的增广矩阵： n1+ n2=n，则x为N×(d+1)维矩正，一般n(d+1)，b为n维列向量，w为d+1维列向量。求解w:(1)如果w是非奇异的，则： 。(2)寻找