加权最小二乘法.docx

加权最小二乘法(WLS)

如果模型被检验证明存在异方差性，则需要发展新的方法估计模型，最常用的方法是加权最小二乘法。

加权最小二乘法是对原模型加权，使之变成一个新的不存在异方差性的模型，然后采用

普通最小二乘法估计其参数。下面先看一个例子。

y

原模型： i

?? ?? x

0 1 1i

? x

2 2i

?? ??

，

x ?u

k ki i

i?1,2,?,n

如果在检验过程中已经知道：

D(u)?E(u2)??2

? f(x )?2 i?1,2,?,n

i i i 2i u ,

f(x)2即随机误差项的方差与解释变量x 之间存在相关性

f(x)

2

2

去除原模型，使之变成如下形式的新模型：

f(x )2

f(x )

2i

i 0

1 ??

f

f(x )

2i

1 x ??

f(x

f(x )

2i

1 x ??

f(

f(x )

2i

f(x )2if(x )

f(x )

2i

f(x )

2i

k ki i

i?1,2,?,n

在该模型中，存在

1 1 1

f(x )2if(x )2iD( u)?E( u)2?

f(x )

2i

f(x )

2i

(4.2.1)

i i f(x ) i u

2i

即同方差性。于是可以用普通最小二乘法估计其参数，得到关于参数?

0

,?,?,?

1 k

的无偏的、

1f

1

f(x )

2i

一般情况下，对于模型

Y?X??? (4.2.2)

若存在：

?

E(?)?0

Cov(?,?)?E(???)??2W

u

?w ?

? 1

?W ??

?

?

?

?

w2 ? (4.2.3)

? ?

?

wn?

则原模型存在异方差性 。设

W?DDT

w?

w

w? 1

w

? ? w?1 ?

w?? ? 1 ?

w

?

?D??

?

?,

2 ? ?

?1 ?

??D?1 2 ?

?

?

? ? ? ? ?

wn??? w?

w

n

?

?

n ?

?1?

?

用D?1左乘(4.2.2)两边，得到一个新的模型：

D?1Y?D?1X??D?1? (4.2.4)

即

Y* ?X*???*

该模型具有同方差性。因为

Cov(N*,N*)?E(?*?*T)?E(D?1???D?1T)

?

?D?1E(??T)D?1

?D?1?2WD?1Tu

?D?1?

2DD?D?1T

u

?? 2I

u

于是，可以用普通最小二乘法估计模型(4.2.4)，得到参数估计量为：

?? ?(X*TX*)?1X*TY*

WLS

?(XTD?1TD?1X)?1XTD?1TD?1Y

?(XTW?1X)?1XTW?1Y

(4.2.5)

这就是原模型(2.6.2)的加权最小二乘估计量，是无偏的、有效的估计量。

如何得到权矩阵W？仍然是对原模型首先采用普通最小二乘法，得到随机误差项的近似估计量，以此构成权矩阵的估计量，即

???e2 ?

?

?

1

? ? e2 ?

W??

??

?

?

2 ? ?

??

?

e2?

n

(4.2.6)

当我们应用计量经济学软件包时，只要选择加权最小二乘法，将上述权矩阵输入，估计过程即告完成。这样，就引出了人们通常采用的经验方法，即并不对原模型进行异方差性检验，而是直接选择加权最小二乘法，尤其是采用截面数据作样本时。如果确实存在异方差性，则被有效地消除了；如果不存在异方差性，则加权最小二乘法等价于普通最小二乘法。

在利用Eviews计量经济学软件时，加权最小二乘法具体步骤是：

⑴选择普通最小二乘法估计原模型，得到随机误差项的近似估计量ei；

⑵建立1ei的数据序列；

⑶选择加权最小二乘法，以1ei序列作为权，进行估计得到参数估计量。实际上是以

1ei乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新模型。(步骤见PPT文件)