非线性回归模型研究生精要.ppt

非线性回归模型 汕头大学医学院预防医学教研室 吴库生 概念 非线性回归（nonlinear regression）是指在因变量与一组自变量之间建立非线性模型。 这里的“线性”和“非线性”并非指因变量与自变量之间是直线关系还是曲线关系，而是指因变量能否表示为自变量的线性组合。 问题提出 变量变换可以解决一部分曲线拟合的问题,但是直线回归采用的是最小二乘法,保证变换后的残差平方和最小,如果变换回原始数值,并不一定是最优方程 当曲线关系极为复杂时,不可能通过变量变换转换为直线方程 曲线直线化后仍然采用最小二乘法加以拟合,对于更复杂的拟合方式无法实现,如最小一乘法、复杂的加权方法等。 非线性回归方程 模型入门 非线性回归模型一般可以表示为如下形式： 其中f 为期望函数，该模型的结构和线性回归模型非常相似，所不同的是期望函数f 可能为任意形式，在有的情况下甚至于可以没有显示表达式。 如何估计模型参数 先给出一个表示估计误差的函数(损失函数)，然后使得该函数取值最小化，并求得此时的参数估计值。 在常用的最小二乘法中，它也是设法找到使得各数据点离模型回归线纵向距离的平方和达到最小的估计值(损失函数为残差绝对值平方)。 但此处的模型回归线就是相应的曲线，而不是线性回归中的直线，或者曲线拟合中变换后的直线。 估计参数 由于期望函数并非直线，使得模型无法直接计算出最小二乘估计的参数值，因此非线性回归模型一般采用高斯—牛顿法进行参数估计。 泰勒级数展开，反复迭代求解。 基本思路： 首先为所有未知参数指定一个初始值，然后将原方程按泰勒级数展开，并只取一阶各项作为线性函数的逼近，其余项均归入误差中；然后采用最小二乘法对该模型中的参数进行估计；用参数估计值替代初始值，将方程再次展开，进行线性化，从而又可以求出一批参数估计值；如此反复，直至参数估计值收敛为止。 显然，这一方法非常复杂，必须借助计算机完成。 分析实例 (SPSS) 例：下列数据文件记录了小鼠的S78-3肉瘤体积y(cm3)随时间x (day)的增长规律，试建立二者之间的回归模型。 操作过程 Analyze Regression Nonlinear Regression ... ... 弹出主对话框 Model Expression: 模型表达式。此模型至少应包含一个自变量。 必要的时候，模型表达式还可以分区段表示。每一段模型由一个逻辑表达式定义，整个模型必须是由几个分段模型的逻辑表达式组合在一起。例如： 由于逻辑表达式只能是1或0，于是 当X=0时，结果为1*0+0*X+0*1=0 当X0X1时,结果为0*0+1*X+0*1=X 当X1时, 结果为0*0+0*X+1*1=1 字符串变量也可以用于逻辑表达式,如: (city=‘New York’)*costliv+(city=Washington)*0.59*costliv 常用的非线性模型可参考相关书籍。在模型选择上一定要根据资料的性质而定。 初始值： 确定模型中的参数的初始值是非常重要的，而且其中有的模型还需要进行参数约束。 Starting value 的确定 由散点图可见二者之间的关系呈指数函数趋势，即y=A*eB*x 由原始数据任取两个点(0, 0.0042)和(45, 7.3461),列方程组 0.0042=A*eB*0 7.3461=A*eB*45 解得A=0.0042, B=0.1659 Loss:损失函数 损失函数在非线性回归中指通过运算使之最小化的函数。 必要的时候，损失函数还可以分区段表示。 Constraints:参数约束 针对在得到最终参数值的迭代过程中所允许的取值范围而言的。 本例基本过程： Analyze Regression Nonlinear ? Dependent: y ? Model Expression: a*Exp (b*x) ? Parameters: a:0.0042/b: 0.1659 输出结果 根据参数估计结果，回归方程为 y=0.161e0.086 x 注意：在方差分析表里，此处的残差均方不是误差的无偏估计，因此通常所用的方差分析不能用于非线性回归的假设检验。 在实际应用中，可根据决定系数大小判断模型拟合程度 本例R2为0.968说明模型拟合效果很好。需要说明的是，如果模型拟合的效果很差，决定系数有可能为负值。 Thank you for attention! All for today. * * 如果条件允许最好采用非线性回归（Nonlinear Regression）拟合曲线 注意绘制散点图，并结合专业知识解释 非线性回归与一般线性回归的求解