模式識别-线性拟合实验报告-黄志强.docVIP

线性拟合-实验报告 内蒙古大学 计算机学院黄志强 一．实验方法： 1最小二乘法 2梯度下降法 二．公式推导 1 最小二乘 用线性函数h a（x）=a0+a1*x来拟合y=f（x）； 构造代价函数J（a）： 代价函数分别对a0和a1求偏导，连个偏导数都等于0成为两个方程，两个方程联合求解得到a0和a1； 2 梯度下降 构造代价函数J（a），J（a）对a0，a1分别求偏导得到梯度， 〆J(a)/〆a0=n*a0+a1*sumx-sumy; 〆J(a)/〆a1=a1*sumx*sumx+a0*sumx-sumx*sumy; tidu_a0=n*a0+a1*sumx-sumy; tidu_a1=a1*sumxx+a0*sumx-sumxy; 设置步长为l，迭代m次 delta_r=sqrt(tidu_a0*tidu_a0+tidu_a1*tidu_a1); a0=a0-l*(tidu_a0/tidu_r); a1=a1-l*(tidu_a1/tidu_r); 每次迭代显示得到的直线和mse，并修订学习率 %显示直线 x2=[-0.1,1.1]; y2=x2.*a1+a0; plot(x2,y2,color,[1-i/m,1-i/m,1-i/m]); %显示错误 error=0; for j=1:n error=error+(y(j)-(a1*x(j)+a0))*(y(j)-(a1*x(j)+a0)); end mse=error/n; l=mse; mse matlab代码 1 最小二乘法代码： %in是一个100行2列的矩阵，两列分别为x和y。用一条直线y=x*a+b拟合x和y的关系； 用最小二乘法计算a和b。 x=in(1:100,1);y=in(1:100,2);sumx=0;sumy=0;sumxx=0;sumyy=0;sumxy=0;for i=1:1:100 sumx=sumx+x(i); sumy=sumy+y(i); sumxx=sumxx+x(i)*x(i); sumyy=sumyy+y(i)*y(i); sumxy=sumxy+x(i)*y(i);endplot(in(:,1),in(:,2),r.); %用红色的点画出100个样本点hold on; %保留当前绘图，不被下次绘图遮盖n=100;[b,a]=solve(n*a0+a1*sumx=sumy,a0*sumx+a1*sumxx=sumxy,a0,a1); %解二元一次方程组，未知数为a0，a1，结果返回给b和a。a=eval(a); %eval（str），把str当做一条语句执行b=eval(b);x2=[0,1]; %知道解析式y=a*x+b，画直线的方法y2=x2.*a+b; % 因为x2是一个向量，所以用x2.表示plot(x2,y2); %制动化一条以x2为x，以y2为y的直线 mse=0;error=0;for i=1:n error=error+(y(i)-(a*x(i)+b))*(y(i)-(a*x(i)+b));endmse=error/n;mse y=in(1:100,2); sumx=0; sumy=0; sumxx=0; sumyy=0; sumxy=0; for i=1:1:100 sumx=sumx+x(i); sumy=sumy+y(i); sumxx=sumxx+x(i)*x(i); sumyy=sumyy+y(i)*y(i); sumxy=sumxy+x(i)*y(i); end plot(in(:,1),in(:,2),r.); hold on; a0=2; a1=1; l=0.5; n=100; m=50; for i=0:1:m tidu_a0=n*a0+a1*sumx-sumy; tidu_a1=a1*sumxx+a0*sumx-sumxy; tidu_r=sqrt(tidu_a0*tidu_a0+tidu_a1*tidu_a1); a0=a0-l*(tidu_a0/tidu_r); a1=a1-l*(tidu_a1/tidu_r); x2=[-0.1,1.1]; y2=x2.*a1+a0; plot(x2,y2,color,[1-i/m,1-i/m,1-i/