非线性回归模型的研究生.pptVIP

非线性回归模型 汕头大学医学院预防医学教研室 吴库生 概念 非线性回归( nonlinear regression) 是指在因变量与一组自变量之间建立非 线性模型。 这里的“线性”和“非线性”并非指因 变量与自变量之间是直线关系还是曲线 关系,而是指因变量能否表示为自变量 的线性组合。 问题提出 变量变换可以解决一部分曲线拟合的问题,但 是直线回归采用的是最小二乘法,保证变换后 的残差平方和最小,如果变换回原始数值,并不 定是最优方程 当曲线关系极为复杂时,不可能通过变量变换 转换为直线方程 曲线直线化后仍然采用最小二乘法加以拟合, 对于更复杂的拟合方式无法实现,如最小一乘 法、复杂的加权方法等。 如果条件允许最好采用非线性回 归( Nonlinear Regression)拟合曲 线 注意绘制散点图,并结合专业知 识解释 非线性回归方程 事线性回归与一般线性回归的求解方法不同在 于 1.需要给定参数(a、b)的初始值 2.采用迭代方法,不断更新估计的参数,直至 稳定在某一值为止。 优点:在需要变换Y时,结果更可靠 缺点:a计算复杂;b初始值不适当时,估计不准确 采用SPSS进行曲线拟合 曲线直线化 Analyze-→ Regression→→ Curve Estimation 可选 Power、 Logarithmic、 Exponentia、 Quadratic、 Cubic等 非线性回归 Analyze- Regression→→ Nonlinear 设置模型: Model Expression 参数赋初值: Parameters 模型入门 ■非线性回归模型一般可以表示为如下形式 y=y+e,=f(x, 0)+e 其中f为期望函数,该模型的结构和线性回归模 型非常相似,所不同的是期望函数f可能为任 意形式,在有的情况下甚至于可以没有显示表 达式。 如何估计模型参数 先给出一个表示估计误差的函数(损失函数 然后使得该函数取值最小化,并求得此时的参 数估计值。 在常用的最小二乘法中,它也是设法找到使得 各数据点离模型回归线纵向距离的平方和达到 最小的估计值(损失函数为残差绝对值平方) 但此处的模型回归线就是相应的曲线,而不是 线性回归中的直线,或者曲线拟合中变换后的 直线。 估计参数 由于期望函数并非直线,使得模型无法 直接计算出最小二乘估计的参数值,因 此非线性回归模型一般采用高斯一牛顿 法进行参数估计。 ■泰勒级数展开,反复迭代求解 ■基本思路: 首先为所有未知参数指定一个初始值,然后将 原方程按泰勒级数展开,并只取一阶各项作为 线性函数的逼近,其余项均归入误差中;然后 采用最小二乘法对该模型中的参数进行估计; 用参数估计值替代初始值,将方程再次展开, 进行线性化,从而又可以求出一批参数估计值; 如此反复,直至参数估计值收敛为止。 显然,这一方法非常复杂,必须借助计算机完 成