各种线性回归模型原理.docxVIP

一元线性回归

一元线性回归模型的一般形式：y?? ??x??

0 1

一元线性回归方程为：E(y)?? ??x

0 1

当对Y与X进行n次独立观测后,可取得n对观测值

(x,y),i?1,2,?,n,则有y ?? ??x??

i i i 0 1i i

回归分析的主要任务是通过n组样本观测值(x,y

i i

),i?1,2,?,n,对

?,?

0 1

进行估计。一般用??

0

,??

1

分别表示?

0

,?的估计值。

1

称?y?????

称?

0 1

x为y

关于x

的一元线性回归方程（简称为回归直线方

程），??

0

为截距，??

1

为经验回归直线的斜率。

引进矩阵的形式：

?y? ?1 x

? ???

? 1? ? 1? ??1? ?

设 y??y2?，X??1 x2?，???2?，??? 0?

??? ?? ?? ???

???

1? ?

1

? ? ? ? ?? ?

?nn?ny? ?1 x? ?

?

n

n

?

n

则一元线性回归模型可表示为：y?X???

E(?)?0

其中I

n

G?M条件{

Var(?)??2I

n

为n阶单位阵。

为了得到??

0

,??

1

更好的性质，我们对?给出进一步的假设（强假设）

设?,?,?,? 相互独立，且? ~N(0,?2),(i?1,2,?,n)，由此可得：

1 2 n i

y,y

1 2

,?,y

n

相互独立，且y

i

~N(?

0

??x,?2),(i?1,2,?,n)

1

程序代码：

x=[]; y=[];

plot(x,y,’b*’)

多元线性回归

实际问题中的随机变量Y通常与多个普通变量x,x

1 2

关。

,?x

p

(p?1)有

对于自变量x,x

1 2

,?x

p

的一组确定值，Y具有一定的分布，若Y的

数学期望值存在，则它是Y关于x,x

1 2

,?x

p

的函数。

? ??(x,x

, ,x)

Yx,x,,x

12 p

1 2 p

?(x,x

1 2

, ,x

p

)是x,x

1 2

,?x

p

的线性函数。

Y?b

0

bx?

1

bx

p p

??,?~N(0,?2)

b,b, b,?2是与x,x,?x

无关的未知参数。

1 2 p 1 2 p

逐步回归分析

逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。

一、变量重新编号

1、新编号数学模型

令y ?x ，自变量个数为k?1，则其数学模型为：

? ?k

x ?? ??x ??x ??x ?...?? x

?k 0 1?1 2 ?2 3?3 k?1?k?1

式中，??1,2,3, ,n （其中n为样本个数）

S??(x

?k

?x)2

k

S ??(x

U ?k

?x)2

k

S ?S?S

Q U

?? (x

?k

?x?)2

k

x的偏回归平方和为：

j

b

S?? jU c

jj

x：为x 的算术平均值

k ?k

：x

j j

的偏回归系数

：为逆矩阵L?1对角线对应元素

jj

2回归数学模型

新编号的回归数学模型为：

x? ?b

k 0

bx

11

bx

2 2

bx

3 3

?...?b

k?1

x

k?1

二、标准化数学模型

标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。

1、标准化回归数学模型

x ?x

令 z ? ?j j

?j S

j

j=1，2，3，…，k

其中： x

j

?1?n x

n?j

n

??1

S ?

j

ljj注意：l

l

jj

jj

?

ljj,S2,

l

jj

j j

！为离差平方和的方根

?(

?

(x ?x)2

?j

j

和的方根，方差，标准差。则回归数学模型为：

z ??????z

???z

???z

?...??? z

?k 0

1?1

2?2

3