线性判别函数分类器.pptx

模式识别;;;;H将特征空间划分为两区域R1,R2 ;4.1线性判别函数和线性分类界面;4.1线性判别函数和线性分类界面;4.2感知器算法;;线性判别函数的增广形式;求解不等式组采用的最优化的方法： 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 采用最优化方法求解标量函数J(a)的极小值。 最优化方法采用最多的是梯度下降法， 设定初始权值矢量a(1)，然后沿梯度的负方向迭代计算：;不等式组求解方法—梯度下降法;解区域的几何解释(特征空间中）;解区域的几何解释(权空间中）;4.2感知器算法;begin initialize , ,θ, k?0 do k?k+1 until return a end;感知器算法(单样本调整版本);例;五十年代Rosenblatt提出的一种自学习判别函数生成方法， 企图将其用于脑模型感知器，因此被称为感知准则函数。 随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。;如果训练样本线性可分，固定增量算法给出的权向量序列必定终止于某个解向量 每次校正，都使权向量更靠近解区域 如果 是解向量，随着训练样本的增加有： ; 为错分样本;感知器算法收敛定理;学习率的选择 当样本线性可分情况下，学习率 合适时，算法具有收敛性； 收敛速度 线性不可分的训练样本集 当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。 ;感知器算法推广;线性不可分情况——思路1：降低要求（口袋算法）;;4.3最小平方误差算法(LMSE);平方误差准则（MSE）;权值矢量的求解(伪逆求解法);有两类模式的训练样本： ω1：{ (1,2), (2,0) } ω2：{ (3,1), (2,3) } 用LMSE算法求取判别函数，将两类样本分开。 令所有裕量均为1，求判决边界方程。 ;1， 可能为奇异阵;begin initialize a(0), b, θ, η(?), k?0； do k?k+1； until return a end;LMSE算法的特点;LMSE算法;4.4多类别分类问题; 每一类模式可以用一个超平面与其它类别分开； 这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面； 第i类与其它类别之间的判别函数：;一对多判别规则;4.4.2 一对一方式;一对一判别准则;每??类别构造一个判别函数 等价于;4.4.3 扩展的感知器算法 ——最大值分类面的学习;4.4.4 感知器网络;激活函数（传输函数）;4.4.4 感知器网络;4.4.4 感知器网络