最小二乘法线性分类器设计.docVIP

模式识别报告（设计线性分类器） 题 目: 最小二乘法线性分类器设计 讲课老师: 学生姓名： 所属院系： 专 业： 学 号： 最小二乘法线性分类器设计 1 描述 1.1最小二乘法原理的概述 最小二乘法原理是指测量结果的最可信赖值应在残余误差平方和为最小的条件下求出。从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线。函数称为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。 1.2 最小二乘法的基本原理 最小二乘法又称曲线拟合，所谓“拟合”即不要求所作的曲线完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。曲线拟合的几何解释：求一条曲线，使数据点均在离此曲线的上方或下方不远处。从整体上考虑近似函数同所给数据点误差的大小，常用的方法有以下三种：一是误差 绝对值的最大值，即误差向量的∞—范数；二是误差绝对值的和，即误差向量r的1—范数；三是误差平方和的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和来 度量误差 (i=0，1，…，m)的整体大小。 数据拟合的具体作法是：对给定数据 (i=0,1,…，m)，在取定的函数类中,求,使误差 (i=0,1,…,m)的平方和最小，即 从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线（图1）。函数称为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类可有不同的选取方法。 图1 曲线拟合的最小二乘法 2 方法描述 2.1 通用最小二乘法的算法 设z是一个N*q矩阵(可能有复数部分)，令Y是（或）空间的一个矢量。线性代数就是要研究方程ZV=Y，详细的写出就是： 如果N〉q，那么方程ZV=Y对于通常没有唯一解，因为方程的个数（N）比未知数的个数多。如果没有唯一解，那么最小二乘法问题就变为寻求次优解，找一个矢量，从而ZV尽可能的逼近于Y。 在为一组数据点，i=1,…,N寻求最佳拟合线的问题中，矩阵Z为： 矢量Y和V是： 此时，矩阵积ZV为： 这里的X和U是(0.7)中给出的矢量。这样，寻求矢量V=(m，b)使得ZV最逼近于Y，等效于寻求数据，i=1,…,N的最佳拟合线的斜率和截距。 最小二乘法的通用算法在下面的定理中给出： 定理0.35 设Z是一个N*q矩阵（可能有复数部分），有最大秩且Nq.令Y是或空间的一个矢量，则有一个唯一的矢量V使得ZV最逼近于Y。并且矢量V是下列矩阵方程的唯一解：Z*Y=Z*ZV 如果Z是一个是矩阵，那么前面的方程变为： 注意，在最佳拟合线问题中的矩阵z与方程中的Z是一样的。 证明 这个定理的证明与构造最佳拟合线时给出的证明相似。令是矩阵Z的列矢量，那么生成的子空间内的点。我们希望找到最接近于Y的点ZV。如图0.11所示，Y-ZV必定正交于M，或者等同于，Y-ZV必定与生成的M的正交。即： 图2 Y-ZV必须与正交 这个方程可简写为：Z*(Y-ZV)=0 因为这个（矢量）方程的第i个部分是Y-ZV和的内积。重新整理方程得 Z*Y=Z*ZV 证毕 矩阵Z*Z的维数是q*q，得出该矩阵式满秩的（用Z有最大秩序这个事实）。因此，方程Z*Y=Z*ZV ；有唯一解。 3 最小二乘法matlab实现 基于分类判别的思想，我们期望w1类的输出为y1 = -1,w2的输出为y2 = 1。但实际的输出和期望并不总是相等的。运用最小二乘法（Least Squares Methods），可以让期望输出和真实的输出之间的均方误差最小化，即： 要使得J(w)最小，需要满足正交条件（orthogonality condition）： 可以得到： 就是求得的加权向量。其中： 称为自相关矩阵； 称为期望输出和输入特征向量的互相关。 通过最小均方误差算法实现线性分类的程序流程如图3所示： 图3 最小均方误差算法程序流程图 如果数据是非常准确的，那么提高拟合次数，可以拟合的曲线更准确。但是如果数据本身有很大的误差，则多项式的次数提高，曲线将变的不够光滑，预测值将出现较大的偏差。n的选择随已知数据点的分布规律而定。 MATLAB调用的函数格式如下： 线性最小二乘曲线拟合 1多项式拟合 (1) pn=polyfit(x,y,n), y0=polyval(pn,x0), polt(x,y,x0,y0) (2