第七章非参数回归模型与半参数回归模型.doc

第七章 非参数回归模型与半参数回归模型 第一节 非参数回归与权函数法 一、非参数回归概念 前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。 设Y是一维观测随机向量，X是m维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称 g (X) = E (Y|X) （7.1.1） 为Y对X的回归函数。我们证明了这样的回归函数可使误差平方和最小，即 22)]XL(Y?minE[E[Y?E(Y|X)]? （7.1.2） L 这里L是关于X的一切函数类。当然，如果限定L是线性函数类，那么g (X)就是线性回归函数了。 细心的读者会在这里立即提出一个问题。既然对拟合函数类L(X)没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Y，X)就可以了是ii的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。 所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Y，X)，ii属于参数回归；用多个低次多项式去分段拟合(Y，X)，叫样条回归，属于非参数回归。 ii 二、权函数方法 非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y的线性组合的某种权函数。也就i是说，回归函数g (X)的估计g(X)总可以表为下述形式： nn?Y)W(?(gX)X （7.1.3 ） ini1?i1 其中｛W(X)｝称为权函数。这个表达式表明，g(X)总是Y的线性组合，一个Y对应个W。不iiini过W与X倒没有对应关系，W如何生成，也许不仅与X有关，而且可能与全体的｛X｝或部iiiii分的｛X｝有关，要视具体函数而定，所以W(X)写得更仔细一点应该是W(X；X，…,X)。niii1??1?????????XY?X(XYX)X?X，则这个权函数形式实际也包括了线性回归。如果，也iiiii是Y的线性组合。 i在一般实际问题中，权函数都满足下述条件： n?1?,X)(X;X,XX;X,?,)?0,?WW( （7.1.4） n1nii11?i如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。 下面我们结合具体回归函数看权函数的具体形式。 1．核函数法 m空间上的核函数K，一般取概率密度。如果取正交多项式则可能不满足配方条件。 选定R 然后令 ????X?X?XXn?????ii/,X)?K,W(X;X? （7.1.5） ???? ni1aa????1?innn??1W。此时回归函数就是显然 i1i???XX???iK?? ann????n?)YW(?g(X)?XYY （ 7.1.6） iii??XX?n1i?1i????iK?? a??1j?n2．最近邻函数法 m空间中两点u = (u，…，u) 和v= (首先引进一个距离函数，用来衡量Rv，…，v) 的m11mn?22????)||u??||?(u||u?||?max||u?||。距离‖u-v‖。也可以选可以选欧氏距离，iiii1?i?n1?i为了反映各分量的重要程度，可以引进权因子C，…,C，使｛C｝也满足配方条件。然后将i1n距离函数改进为 n?22??)?(Cu||u??|| （7.1.7） iii1?i2??|?|u||?maxC?|u ） 7.1.8 （iiini?1? 现在设有了样本(Y，X)，i=1,…,n，并指定空间中之任一点X，我们来估计回归函数在该ii2 点的值g(X)。将X，…，X按在所选距离‖·‖意义下与X接近的程度排序： n1||X?X||?||X?X||???||X?X|| （7.1.9） kkkXX就赋予权函数k。…，；与X这表示点距离次近的与X距离最近，就赋以权函数k21kk等等。这里的n个权函数k,…,k也满足配方条件，并且按从大到小排序，即 n1n?1 ?k0??