高级计量经济学非线性回归模型推荐.ppt

第四章非线性回归模型 (Non-Linear Regression Models) 1 2 本章内容 参数非线性概念 非线性模型估计技术 非线性最小二乘法 最大似然法 对非线性模型的统计检验 应用案例分析 3 参数非线性 当模型为参数非线性形式时，需要采用非线性估计技术。 非线性模型的一般形式为： Yi = f(Xi, b) + ei 式中f(.)为一个可微分的非线性函数，b为K×1未知参数向量，X为K×N解释变量矩阵，e为服从某种形式统计分布的误差项（通常用正态分布）。 此时我们无法将待估计参数表示为由已知的X和Y表示的线性函数，这种情况被称作参数非线性。 4 非线性模型案例1 C-D生产函数 5 非线性模型案例2 不变替代弹性生产函数(CES) 假定模型有两个解释变量，一种简化形式可以表示为 式中： β0为技术效率系数 β1为分配系数（0β1≤1） β2为替代系数 β3为规模报酬系数 随机误差项u服从正态分布。 6 非线性模型案例3 受限因变量模型 Probit Logit Tobit 误差项呈特殊统计分布形式的回归方程 Frontier 非线性模型与线性模型的关系 考虑一般形式的非线性模型Y = f(X) + e 条件均值函数为E[Y|X]= f(X) 条件均值函数的线性近似式(在X=X0处展开的泰勒级数)为 由此可以看出，线性模型是非线性模型的一阶近似表达； 如果函数关系高度非线性，那么用线性函数近似会发生遗漏重要解释变量错误。 7 8 两种主要的估计技术 非线性最小二乘法（NLS） 以残差平方和最小为标准获得参数估计 通常基于误差项满足正态分布的假定 一般计量经济软件有标准的指令和算法 最大似然法（ML） 以似然值最大为标准获得参数估计 误差项可以为任意统计分布形式 不同情况需要用到不同的指令和算法 9 NLS方法 用最小二乘法估计非线性回归方程的原理与估计线性回归方程相同，即求解使残差平方和最小的参数： 在函数形式满足要求的条件下，模型参数可以通过求解由一阶条件构成的方程组得出，即： 对于非线性方程，我们常常无法确保得到估计参数的解析解，但通常能够利用数值逼近方法得到方程组的近似解。 此时估计参数可能不是唯一的，并且存在收敛问题。 10 NLS方法 求解非线性方程组的常用方法有： 直接寻找法(Direct search)，即依据某种指标（如误差平方和）选择最优结果； 直接优化法(Direct optimization)，即利用前述求偏导数的方法，通过直接求解方程组来得到参数估计，在实际工作中很少使用此方法； 线性化迭代求解法(Iterative linearization method)，即从一组参数的初始值开始将非线性函数线性化，然后求解线性方程组并得到新的估计值；重复上述步骤直到估计结果达到收敛标准或达到最大迭代次数时为止。 11 NLS方法 用线性化迭代求解法做回归包括以下步骤： 在未给定初始值的情况下，利用OLS方法估计系数（或用其他算法得到的估计值）作为初始值，反之利用给定的初始值。 在该组初始值处用泰勒级数将非线性方程转化为线性方程，然后求解得到新的参数估计值。 重复上述过程，直到参数达到给定的收敛标准或达到给定的最大迭代次数时为止。 此时得到的结果包括最后一次计算得到的参数估计值、对应的渐近t统计值、R2值等。 12 NLS方法 需要注意的是，NLS方法并不能够保证总是收敛到最优解，可能出现的情况有： 收敛速度缓慢 收敛到局部最优解 估计系数出现发散情况 收敛到错误结果时，R2可能出现负值。 在应用工作中，当遇到上述情况时，一种做法是改变初始值，然后重新进行迭代求解过程。 利用现有的计算机能力和软件，对模型重复做估计不会发生过高的费用，或要求过长的时间投入。 这种方式有助于识别估计结果的可靠性。 13 NLS方法 －ESS  全局最优 局部最优 A B C D * ’ 14 NLS方法 将非线性模型表示成矩阵形式： 一阶条件为： 15 NLS估计参数b的性质 假定(N×K)矩阵Z(β) = ∂f(X, β)/∂β的秩为K。 假定对于任何观察值，其误差项et都服从标准正态分布，不同观察值之间误差项的协方差等于0，即： 假定解释变量X是非随机的，在此条件下有以下结论： 当N趋于无穷大时，估计参数β*趋近于以真实参数β为均值的正态分布（根据中心极限定理）； 因而β*是β的一致性估计量； 此结论与模型误差项ei的统计分布假定无关。 16 NLS估计量的性质 对线性回归模型做统计检验的方法无法直接应用于非线性回归模型，原因是即使回归残差服从正态分布，我们也无法由回归残差得到模型误差项方差的无偏估计。 在采用迭代法时，我们是对最后一次线性化后的估计结果应用标准线性模型的统计检验。 这一方法依赖于在大样