6 非_性模型.pptVIP

第六章 非线性回归 问题的引入 非线性最小二乘法 NLS估计的特性 假设检验 NLS举例 §6.1 问题的引入Introduction 到目前为止，一直讨论的是线性回归模型： Yt= ?0+?1Xt1+??kXtk+?t t=1,2,?n 或 Yt= Xt?+?t t=1,2,?n 其中： Xt=(1 Xt1 Xt2 ?Xtk) 或 Y= X?+? 该模型既是一动态模型(dynamic model)，也是一关于参数?、?的非线性模型。 §6.2 非线性最小二乘法 由类比法，对一容量为n的样本，可通过求解样本回归模型残差平方和的极小值来寻找适当的?： min SSR(?)=?t=1net2=?t=1n[Yt-h(Xt;?)]2=(Y-h)’(Y-h) 记 二、非线性极值 由于模型的非线性性，需通过数值解法进行迭代求解。 不失一般性，记目标函数为S(?)； 记其1阶偏导向量为g(?)=?S(?)/??， 称为S(?)的梯度(gradient)： 1、Newton-Raphson 方法 给出初值?=b(0) , 并记 g(0)=g(b(0))，H(0)=H(b(0)) 注意： （3）有时，Hessian矩阵接近奇异，则上述迭代过程需进行如下调整： b(i+1)=b(i) - (H(i)+cI)-1g(i) 2、Gauss-Newton法 有些情形下，Hessian矩阵较难求得(需求解2阶偏导），而且也不能保证它是正定的，从而为寻找正确的参数解带来较大困难。 Gauss-Newton法则在目标函数为平方和函数(sum-of-squares function)时，提供了无需求2阶偏导，就能得到正定的Hessian矩阵的近似值的方法。 S(?)的梯度g(?)的第i个元素为： gi(?)= -2?t=1n Xti(?)[Yt-ht(X,?)] 从而有 b(i+1)=b(i) - {(1/n)[H(b(i)]}-1(1/n)g(b(i)) 或 b(i+1)=b(i)+[X(b(i))’X(b(i))]-1X(b(i))’[Y-h(b(i))] *4、Gauss-Newton regression Properties of GNR 在GNR中，如果h(?)为线性方程X?，则X(?)恰为X 因此，在线性回归模型中，GNR模型即为Y-X?关于X的线性回归。 对非线性模型，GNR有类似于线性模型的性质。 2）计算协方差矩阵Var(bNLS) 表明回归元X(bNLS)对Y-h(bNLS)无解释能力，从而 Y-h(bNLS)=residuals §6.3 NLS估计的统计性质 NLS估计一般不具有小样本下的无偏性(Unbiased)，但具有大样本下的一致性(Consistency). 另外，NLS估计还具有渐近正态性(Asymptotic Normality)与渐近有效性(Asymptotic Efficiency)。 而这些大样本统计性质都是建立在如下渐近可识别性（Asymptotic identification ）的基础之上的。 参数的渐近可识别(asymptotic identified)是指：当数据集容量n??时，该估计方法能得到唯一的参数的极限估计值。即对任意n?N0，若?1??2，则 h(X;?1)?h(X;?2) 线性回归模型可识别的充要条件：各回归元线性无关 必要条件：no ?1??2 exist that h(X;?1)=h(X;?2) 因此： E(Xt(?)’?t|?t)=0 或 E(Xt(?)’?t)=0 二、一致性 Proof: 假设数据Yt由如下非线性模型生成 Yt=h(Xt;?0)+?t ut~iid(0, ?2) 三、渐近正态性 Proof: 由于bNLS是模型Y=h(X;?)+?的NLS估计，它满足如下1阶极值条件 X(bNLS)’[Y-h(X;bNLS)]=0 (*) 而由?与X的同期信息无关的假设有：E[Xt(?0)’?t]=0 注意： 这时，等式右端依概率趋于0向量。从而得到