模式识别-第2章 线性判别函数_第二讲.pptVIP

第二章 线性判别函数 主要内容回顾： 线性空间、线性判别函数 矩阵分析简介 矩阵微分——相对于数量变量的微分 例:求二次型 对t 的导数 其中 是n维函数向量 是数字矩阵 矩阵微分——相对于向量变量的微分 例：求函数 对 的导数 矩阵微分——相对于向量变量的微分 例：a）行向量 对 的导数 b）列向量 对 的导数 c）二次型 对 的导数 d）数量函数 对 的导数 矩阵微分——复合函数微分 矩阵微分——复合函数微分 5.2 线性判别函数的学习 问题的提出：假设有一个包含n个样本的集合y1, y2, …, yn, 一些标记为ω1,另一些标记为ω2，用这些样本来确定一个判别函数g(y)=aty的权矢量a。 在线性可分的情况下，希望得到的判别函数能够将所有的训练样本正确分类； 线性不可分的情况下，判别函数产生错误的概率最小。 训练样本的规范化 解区域的几何解释(特征空间中） 特征空间中：矢量a是垂直于分类界面的矢量： 解区域的几何解释(权空间中） 权空间中，atyi=0是一个通过原点的超平面，yi是法向量，而a是空间中一个点。 边沿裕量b 一般求解方法—梯度下降法 求解不等式组采用的最优化的方法： 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 采用最优化方法求解标量函数J(a)的极小值。 最优化方法采用最多的是梯度下降法，设定初始权值矢量a(1)，然后沿梯度的负方向迭代计算： 一般求解方法—梯度下降法 2.3 感知器算法(Perceptron) 最直观的准则函数定义是最少错分样本数准则： JN(a) = 样本集合中被错误分类的样本数； 感知器准则 以错分样本到判别界面距离之和作为准则： 感知器算法(批量调整版本) begin initialize , ,θ, k?0 do k?k+1 until return a end 感知器算法(固定增量单样本感知器) begin initialize , k?0 do k?(k+1)mod n if yk is misclassified by a then until all patterns properly classified return a end 例 有两类模式的训练样本： ω1：{ (1,1), (0,1) } ω2：{ (-1,0), (0,-1) } 用感知器算法求取判别函数，将两类样本分开。初始权矢量为 ，第1维为偏置，学习率 例2 有两类模式的训练样本： ω1：{ (1,1), (2,2) } ω2：{ (0,0), (1,0) } 用感知器算法求取判别函数，将两类样本分开。初始权矢量为 ，第1维为偏置，学习率 感知器算法收敛定理 如果训练样本线性可分，固定增量算法给出的权向量序列必定终止于某个解向量 每次校正，都使权向量更靠近解区域 如果 是解向量，随着训练样本的增加有： 感知器算法收敛定理 感知器算法收敛定理 感知器算法的特点 当样本线性可分情况下，学习率 合适时，算法具有收敛性； 收敛速度较慢； 当样本线性不可分情况下，算法不收敛，且无法判断样本是否线性可分。 感知器算法推广 引入边沿裕量 引入变增量 准则函数的推广 感知器算法推广 引入边沿裕量比b: 感知器算法推广 引入变增量 可以证明：当样本为线性可分时，如果： 感知器算法(带裕量，变增量单样本调整) begin initialize , b， ，k?0 do k?(k+1)mod n if then until all patterns properly classified return a end 感知器算法推广 准则函数的推广 错误分类点数 感知器判据 平方误差判据 规范化平方（裕量）误差判据 松弛算