数据挖掘基础知识回归分析.pptVIP

回归分析 本章内容 回归分析的基本原理 一元线性回归分析 多元线性回归分析 非线性回归分析 回归分析的基本原理 所谓回归分析法，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式。 对于下表中的数据： 利用回归分析方法，得到如下的函数关系式： 一元线性回归分析 一元线性回归模型 模型参数估计和平均误差估计 一元线性回归模型的检验 一元线性回归模型 满足一元线性回归的基本条件： 所有的 的分布的均值都正好在一条直线上，称之为总体的（真实的）回归直线； 所有的分布都有同样的形状； 随机变量 是相互独立的； 给定 X 时 分布的形状是正态的，即 服从正态分布。 满足这些条件的回归模型称为一元线性回归模型。 根据样本观测值，采用最小二乘法，得到了一条估 计的样本回归直线 。 模型参数估计和平均误差估计 参数估计： 经过最小二乘法计算可得： 求出参数a,b以后，就可以得到回归模型: (1) (2) (3) SSE实际值与预测估计值之间的离差平方和。 标准误差：估计值与应变量值之间的平均平方误差。 （4-8） 模型参数估计和平均误差估计 平均误差估计： 一元线性回归模型的检验 线性方程的显著性检验 关于回归系数b的统计推断 一元线性回归模型的检验 线性方程的显著性检验的方法有： 方差分解法 相关分析法 F检验 t检验 D-W检验 一元线性回归模型的检验-方差分解法 一元线性回归模型的检验-相关分析法 一元线性回归模型的检验-F检验 一元线性回归模型的检验-t检验 一元线性回归模型的检验-D-W检验 多元线性回归分析 多元线性回归模型 参数估计 多元回归方差分析和显著性检验 多元回归模型的残差分析 多元线性回归模型 参数估计 多元回归方差分析和显著性检验 总离差平方和的分解和多元相关系数 回归离差平方和与偏相关系数 总离差平方和的分解和多元相关系数 回归离差平方和与偏相关系数 多元回归模型的残差分析 在这里我们主要考虑以下几种情形： 线性与非线性 共方差与异方差 独立与非独立 正态与非正态 多重共线性 非线性回归分析 非线性模型 非线性模型的线性化 非线性模型 主要的非线性模型有： 抛物线模型 双曲线模型 幂函数模型 指数函数模型 对数函数模型 逻辑曲线模型 多项式模型 非线性模型 抛物线模型 双曲线模型 幂函数模型 指数函数模型 对数函数模型 逻辑曲线模型 多项式模型 非线性模型的线性化 倒数变换 倒数变换是用新的变量来替换原模型中变量的倒数，从而使原模型变成线 性模型的一种方法。 半对数变换 这种方法主要应用于对数函数模型的线性变换。 双对数变换 这种方法通过用新变量替换原模型中变量的对数，从而使原模型变换为线 性模型。 多项式变换 这种方法适用于多项式方程的变换。