最小二乘法在线性和非线性回归中的应用(12.15).ppt

* 非线性最小二乘法曲线拟合的MATLAB实现 例 已知一组数据如下表所示 x 0.1 0.4 0.5 0.7 0.8 0.9 y 0.61 0.92 0.99 1.52 1.47 2.03 用lsqcurvefit函数实现曲线拟合? Matlab为用户提供了lsqcurvefit函数实现非线性最小二乘拟合，调用格式如下：x=lsqcurvefit(fun,x0,xdata,ydata)； fun为拟合函数，(xdata,ydata)为一组实验观测数据，满足ydata=fun(xdata,x),以x0为初始点求解改数据拟合问题。 * 新建m文件，将待拟合函数写入，保存为cf.m： function?f=cf(x,xdate); n=length(xdate); for?i=1:n f(i)=x(1)+x(2)*xdate(i)+x(3)*sin(xdate(i))+x(4)*exp(xdate(i)); end * 运行以下程序:? clear?all;?close all; xdata=[0.1,0.4,0.5,0.7,0.8,0.9];? ydata=[0.61,0.92,0.99,1.52,1.47,2.03];? x0=[1,1,1,1];%初始点选为全1向量 x=lsqcurvefit(‘cf,x0,xdata,ydata)? plot(xdata,ydata,ro);? xi=0:0.01:1;? y=cf(x,xi);? r=cf(x,xdata)-ydata;%维度需要一致 e=r*r; grid?on;hold?on;? plot(xi,y)? xlabel(x)? ylabel(y)? title(lsqcurvefit函数曲线拟合)? legend(原始数据点,拟合曲线)? * 输出结果： x=? 7.0008? 38.4868? -30.0778? -6.5485 e=0.0539 仿真结果 * 拟合验证 x 1 2 3 4 5 y 3 7 13 21 31 对这5个点用多项式拟合验证得出的曲线是否为原函数。 * 用MATLAB实现多项式拟合 aa=[1.0000,1.0000,1.0000]’ e=7.6520e-29 可见得出的函数即为原函数 clear all; close all; x=1:1:5; y=[3,7,13,21,31]; hold on aa=polyfit(x,y,2); plot(x,polyval(aa,x),r-,x,y,o); %xlabel(x-); %ylabel(y-); title(‘多项式曲线拟合验证 legend(‘原始数据点’,‘拟合曲线) a=y-polyval(aa,x); e=a*a; 仿真结果 * * 多元函数极值存在必要条件 * 最小二乘法在线性回归和非线性回归中的应用 长沙理工大学-电气与信息工程学院 电子科学与技术 讲解：王可煜 方云熠 * 什么是最小二乘法？ 最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小. * 线性回归 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 * 非线性回归 有一类模型，其回归参数不是线性的，也不能通过转换的方法将其变为线性的参数。这类模型称为非线性回归模型。在许多实际问题中，回归函数往往是较复杂的非线性函数。非线性函数的求解一般可分为将非线性变换成线性和不能变换成线性两大类。这里主要讨论可以变换为线性方程的非线性问题。 * * 两变量间的关系 确定性关系：两变量间的函数关系 圆的周长与半径的关系：C=2πR 速度时间与路程的关系：L=ST 非确定性关系：两变量在宏观上存在关系，但并未精确到可以用函数关系式来表达。 青少年的升高与年龄关系 升高与体重的关系 药物浓度与反应率的关系 * * * 多元线性回归 第一步:先选定一组函数 r1(x), r2(x), …rm(x), mn, 令 f(x)=a1r1(x)+a2r2(x)+ …+amrm(x) （1） 其中 a1,a2