最小二乘法求回归直线方程的详细推导过程.pdfVIP

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

最小二乘法求回归直线方程的详细推导

过程

一、引言

最小二乘法是一种用于求解最小二乘回归方程

的数学方法，其主要作用是拟合曲线，解决拟合数

据点集的最优拟合结果，因而被广泛应用于经济学、

机械工程、矿业工程、农学等领域。本文重点介绍

最小二乘法求解回归直线方程及其详细推导过程。

二、最小二乘法的求解思路

最小二乘法的求解方式是把拟合函数的形式作

为未知变量，然后取误差平方和的最小值，也就是

拟合函数的参数值。因此，在使用最小二乘法求解

回归直线的方程的时候，要先确定拟合函数的形式，

即直线方程的形式。

三、直线回归拟合函数

回归拟合函数以二次曲线形式为代表，用简单

的一元线性代数表示。设给定n个数据点P=(x1，

y1）P=(x2，y2）…P=(xn，yn），其拟合函数形式记

作：

：

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

y=ax+b

其中a、b是未知数，它们代表了该拟合直线的

斜率和截距。

四、误差平方和的最小化

根据上面的拟合函数形式，可以定义误差函数

e(x)，它的定义如下：

e(x)=Σ(y-ax-b)^2；

其中Σ表示求和符号，求误差平方和，对于拟

合函数的参数a、b，要使误差平方和最小，可以使

用求导的方法。

五、求解参数

由于误差函数的形式是二次多项式，所以误差

函数的求导非常简单，有两个未知数a、b，分别在

a、b处求导。

求导数e(a)：

∂e(a)/∂a=-2Σ(y-ax-b)*x

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》

求导数e(b)：

∂e(b)/∂b=-2Σ(y-ax-b)

根据对a、b求导的结果，把a、b分别等式化，

得到：

Σx^2*a+Σxy*b=Σxy

Σx*a+n*b=Σy

可以解决出a、b的参数值：

a=(Σxy*Σx^2-Σx*Σxy)/(n*Σx^2-(Σ

x)^2)

b=(Σy*Σx^2-Σx*Σxy)/(n*Σx^2-(Σ

x)^2)

最后，根据上述求出的a、b值，得到拟合回归

直线的结果：

y=ax+b

天行健，君子以自强不息。地势坤，君子以厚德载物。——《周易》