非参数回归(非参数统计-西南财大).pdfVIP

第十二章非参数回归及其相关问题

第一节参数回归问题的回忆

在线性回归模型中，我们总是假定总回归函数是线性的，即

多元线性回归模型一般形式为：

总回归函数〔PRF〕

但是，经验和理论都证明，当，〃(X)不是线性函数时，基于最小二乘的回归效果不好，非参数回归

就是在对〃z(X)的形式不作任何假定的前提下研究估计(X)。

例设二维随机变量，其密度函数为

[x+y0x1,0y1

/«))=八甘,求E(Y/X=x),

[0具匕

x+

解：fM=J/(^y^y=zo^x\

x

o2

从例可知，E(y/X=x)仅与x有关，条件期望y=m(x)=E(y/X=x)说明Y与X在条件期望

的意义下相关。

由样本均值估计总均值的思想出发，假设样本(X1*),(x,r),…，(x“，毛)中有相当Xj恰

22

好等于x,m(x)=E(Y/x),不妨记为X-x,X.,自然可取相应的丫的样本匕，与，

h

1k

人,用他们的平均数二Z%去估计，〃(x)=E(y/x)。可是在实际问题中，一般不会有很多%的值

kj=\,

恰好等于文。这个估计式，仿佛是一个加权平均数，对于所有的X,,如果等于工，那么赋予:的权，

如果不等于x,那么赋予零权。由此可启发我们在思路上产生了一个飞跃。即对于任一个工，用

忆匕，…，工的加权和去估计Mx),即应〃(工)=£叱匕，其中叱N0,»=1,2,,一,〃，£叱二1估计

//(X)=E(y/X)。问题是如何赋权，一种符合逻辑的方法是，等于x或靠A•非常近的那些X,,相应

的权大一些，反之小权或零权。

两种模式：

设(x,y)eNx/?上的随机变量，(x,/)(i=l,2,为的〃次观测值。实际应用中，%｛｝：为

非随机的，耳，匕，…，匕依条件独立，在理论上非参数回归中%｛｝：既可以是非随机的，也可以是随机的。

而参数回归分析中，我们总是假定｛得｝:为非随机的。

根据｛%｝；的不同非参数回归有两种模式。

1、｛xj：为随机时的非参数回归模型

设x（,y）wWxR,E\Y\+00,2（,，・工）（，二1,2「一/）为*（,丫）的随机样本。存在没个未知的实

值函数g（.）,使得

一般记为y=Ey（/x