java最小二乘法回归模型.docxVIP

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻 找数据的最正确函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数 据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。通过一元线性模型 应用来理解最小二乘法。 监督学习任务中，预测离散结果的是分类任务，预测连续结果的是回归任务。在回归任务中, 预测结果y和x的函数关系中，一元线性回归只包含一个属性的，对应的线性关系；二元线 性回归包含两个属性，对应的平面关系；d元线性回归就包括d个属性，对应的超平面关系。 在一元线性回归任务中,给定数据集{(xl,yl),(x2,y2),…,(xn,yn)},有n个(xi,yi)数据对，在坐标 中对应n个点，要拟合这n个点为一条直线的线性关系，自然是直线在n个点中间最好。 但显然有很多直线满足，怎么衡量呢？选择怎样的直线最好呢？标准是什么？选择最正确直线 的标准是：使总的拟合误差(即总残差)到达最小。 1)用“残差和最小”确定直线位置，存在相互抵消的问题。 2)用“残差绝对值和最小”确定直线位置，但绝对值的计算比拟麻烦。 3)最小二乘法的原那么是以“残差平方和最小”确定直线位置，用最小二乘法除了计算比拟 方便外，得到的估计量还具有优良特性、对异常值非常敏感。 综上,我们选用最小二乘法的误差平方和最小作为标准来选出一条直线作为n个点的拟合直 线。最常用的是普通最小二乘法(Ordinary Least Square, OLS)：所选择的回归模型应该使 所有观察值的残差平方和到达最小。(Q为残差平方和)?即采用平方损失函数。 数学形式定义直线为： f(xi)=yi=axi+b+ei;其中，是样本(xi,yi)的真实值yi=axi+b+ei和拟合值yi= axi+b的误差，即ei= yi-axi-bo 最小二乘法一元线性回归模型的Java实现，参考代码如下: package czwl;import java.text.DecimalFormat; import java.util.Random;public class czwl { private final static int n=20; public static void main(String[] args){Random random = new Random(); doublet] x=new double]??];double[] y=new double[n]; for(int i=0;in;i++){x [ i ] =Double. vat t/eO/( Math./Loor (random. nextDouble( )* (99-1))); y[i]=Double.VGtueOf(Math./Loor(random.nextDouble()*(999-1)));} /* y = a x + bb = sum( y ) / n - a * sum( x ) / n a = ( n * sum( xy ) - sum( x ) * sum( y ) ) / ( n * sum( xA2 ) - sum(x)A 2 ) * */estimate(xJ y, x.length ); )public static void estimate( doublet] x , doublet] y , int i ) { double a = getA( x y ); double b = getB( x , y , a );DecimalFormat df=new DecimalFormat(#_,##0.00); System.out.println(ny=,I+df.format(a)+,,x,,+I,+n+df .format(b)); } //计算系数apublic static double getA( doublet] x , doublet] y ){ int n = x.length ; return ( n * pSum( x , y ) - sum( x ) * sum( y ) )/ ( n * sqSum( x ) -Math.pow(su/w(x), 2));) //计算常量系数bpublic static double getB( doublet] x , doublet] y , double a ){ int n = x.length ; return sum( y ) / n - a * sum( x ) / n ;) //计算和值private static double sum(double[] ds) { double s = 0 ;for( double d:ds)s=s+d; return s