第七章 非线性回归.ppt

第七章 非线性回归 第七章 非线性回归 第一节 可以转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 第一节 可转化为直线的曲线回归 实例1：指数曲线的拟合 实例1：曲线回归 实例1：曲线回归 实例1：曲线回归 实例1：曲线回归 实例1：曲线回归 实例1：曲线回归 实例2：对数曲线的拟合 实例2：曲线回归 实例2：曲线回归 实例2：曲线回归 实例2：曲线回归 实例2：曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第二节 不可转化为直线的曲线回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 第三节 多项式回归 2.数值迭代法计算步骤 1.选定回归系数β的初始值β0 2.选择适当的搜索方向向量Δ和步长t 3.计算新回归系数β β= β0 + t·Δ 使得 Qe(β) Qe (β0) 4.重复上述2-3步的过程，直至Qe(β) 达到最小值为止 1974年，Bard给出了使Qe(β)下降的充要条件： 得到迭代公式 β = β0 + t·Δ = β0 + tPG‘(Y-F(β)) 其中：P 为任意正定矩阵 G 为F 函数的梯度 t 满足Qe(β)Qe (β0)的正实数 Δ = PG‘(Y-F(β)) 3.常用计算迭代方向的方法 1）Gauss 高斯-牛顿法（缺省方法） （一阶偏导数） 2）Newton 牛顿法（一、二阶偏导数） 3）Marquardt 麦夸特法（一阶偏导数） 4）Gradient 梯度法（最速下降法） （一阶偏导数） 5）Dud 正割法（无需偏导数） 1.多项式回归模型 在数学上，一般函数都可以用多项式来逼近，当两个变量间的关系复杂难于确定时，可以使用多项式回归来拟合。 y = b0+b1x1+b2x2+…+bkxk+ε k次多项式回归模型： 2. 回归次数的初步确定 拟合多项式回归的两个变量有n对观察值时，最多可以配到k=n-1次多项式。 根据散点图所表现的曲线趋势，回归模型的次数为： k = 波峰数 + 波谷数 + 1 若波动较大或峰谷两侧严重不对称，可再增加一次。 k =1(波谷)+1=2 k =2(波峰)+1(波谷)+1=4 3. 回归系数的计算 对于n对观测数据，令 则模型可以表示为：Y=XB+E 最小二乘法解得：B=(X’X) -1X’Y 4. 回归关系的假设检验 变量y的总平方和(SSy)分解为回归平方和(U)和误差平方和(Q) 回归项自由度为：k（自变量次数） 误差项自由度为：n-k-1 检验统计量F： 5. 回归系数的假设检验 对于x任意i次项分量回归系数的检验 1.t检验 H0 ：βi＝0 统计量t ： 其中： 自由度：n-k-1，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素 5. 回归系数的假设检验 2.F检验 H0 ：βi＝0 其中：Ui 为xi对y的回归平方和，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素 自由度：df1＝1 df2=n-m-1 统计量： 6. 多项式回归注意事项 多项式回归模型通常只能用于描述变量试验范围内的变量回归关系，外推一般并不可靠。 由于(X‘X)-1的计算复杂而且也不稳定，可以采用正交多项式来进行多项式回归。 * * 第七章 非线性回归 可以转化为直线的曲线回归 不可转化为直线的曲线回归 多项式回归 非线性回归的三种类型 1、可转化为直线回归的曲线回归 包括指数函数曲线、对数函数曲线、幂函数曲线、S型函数曲线和双曲线函数等回归模型，可以通过变换化为直线回归问题来解决。 2、不可转化为直线回归的曲线回归 函数表达式比较复杂很难或不能转化为直线回归模型的曲线回归模型。 非线性回归的种类 3、多项式回归 一元多项式回归（一个自变量，有一次项、二 次项…高次项等，图形是曲线。） 多元多项式回归（两个或多个自变量，各有一次项、二次项…高次项和交叉乘积项等，图形是曲面