第五章 非线性回归.pptVIP

可线形化的非线性模型 科布—道格拉斯（C-D）生产函数 其中：Y =产出，K=资本，L=劳动 两边取对数，C-D生产函数模型可写成 其中， 。相应的非线性模型变成参数的线性模型，可以按线性模型来处理。 不可线形化的非线性模型 CES生产函数模型 其中：Y =产出，K=资本，L=劳动 两边取对数，C-D生产函数模型可写成 其中， 。对于CES生产函数模型，两边取对数也无法使其变成线性模型。 所以对参数而言，其本质上是非线性的 。 在 附近，可以将CES生产函数展开成一阶泰勒级数 即 其中 等于扰动项与一阶泰勒展开余项之和 ， 二、线性化回归方法 我们将非线性模型写成 其中： 如果函数在参数向量 附近连续可微，将函数在 附近进行一阶泰勒展开 三、非线性回归模型的基本假定 1．扰动项零均值： 2．无自相关性： 3．同方差性： ，其中为有限常数。 4．解释变量为非随机变量 5．函数性质：一般情况下，假设 为二阶连续可微函数。 6．模型参数可识别 7．分布假定：非线性最小二乘不要求扰动项的精确分布分布。在极大似然估计中，需要对扰动项的分布做出假设，一般假设其服从正态分布。 四、非线性最小二乘法（NLS） 令 残差平方和为 最小二乘法 非线性最小二乘法的正规方程组 例5.1 一元非线性模型 参数的NLS估计的一阶条件为 此方程组没有解析解 五、非线性最小二乘估计量的性质 1．一致性 2．渐近正态性 3．渐近有效性 第二节 模型估计：迭代法 非线性回归模型的一个标准问题是：如何求残差平方和的最小值。对于参数相同的线性模型与非线性模型，计算NLS估计要比OLS估计难很多。 由于NLS估计一阶条件是关于参数的非线性方程组，较难得到解析解，通常采用数值解法。 本节讨论光滑函数无约束极小化问题。 无约束极小化问题有很多种数值解法，其中迭代法是一种非常有效的算法，许多其他算法也可归结于迭代算法。 一、迭代算法 迭代算法由一系列迭代步骤构成，每次迭代从参数的一个特定值开始，尝试找到更优的值。迭代算法首先确定一个搜索方向，然后确定在该方向上移动步长。完成一次移动后，检验当前值是否充分接近的极小点。若是，则计算终止，否则继续搜索，如此下去，直至按终止规则停止。 迭代算法的基本公式 其中， 为方向向量， 为步长。 不同的极小化算法的区别主要体现在三个方面： 搜索方向的选择 搜索步长的确定 终止搜索的规则。 二、梯度法 定理5.1 设 在 附近有连续的二价偏导数，则 , 为正定矩阵 如果 不是极小点，则可由 在 附近的一阶近似来改进 设βj+1=βj+λjΔj，函数S（β）在βj附近连续可微，则 迭代方向的选择通常在梯度方向，令 Δj=Wj（gj）′ （524）式中，gj=g（βj）为S（β）在βj处的梯度行向量，Wj为一个负定矩阵，其作用是使目标函数值降低。 则 S（βj+1）-S（βj）≈λjgjWj（gj）′（525） 若gj≠0，λj0，则λjgjWj（gj）′0，因而S（βj+1）-S（βj）0，因而迭代将导致函数值降低。其中，选择不同的步长λj可以调整迭代收敛速度。 三、牛顿-拉弗森法 最基本的迭代算法是牛顿-拉弗森法（Newton-Raphson Method）。牛顿-拉弗森法的基本思想是利用泰勒级数展开近似，通过迭代运算寻找NLS估计的数值解法。 具体算法是 1．给定参数初值 2．将残差平方和函数在附近展开成二阶泰勒级 数 3．迭代公式 四、拟牛顿法 当海赛矩阵非正定时，或者计算困难，可以采用替代矩阵。 一般的方法是采用下边的式子 其中 为一个正定矩阵，用于在接近极小值时对H 进行近似。 常用的拟牛顿法 1．戈德菲尔德-匡特方法 2．戴维森-弗莱彻-鲍威尔法（DFP法） 3、高斯-牛顿法 五、迭代初值与停止规则1.迭代初值 如果目标函数为凸函数，则至多有一个极小点，且局部极小即是整体最小，迭代会收敛到最小值，但初值的选择对迭代速度的影响相当大。 如果目标函数不是凸函数但有唯一极小点，迭代也会有不错的效果。但如果目标函数有多于一个的