d11 多重回归与相关.ppt

多重回归与相关 Multiple regression Multiple correlation 关联性分析方法分类（定量资料） 回归分析与Pearson其人 皮尔逊推广了高尔登(Golton)的相关结论和方法，推导出人们称之为“皮尔逊积差”的公式，给出了简单的计算：说明对三个变量的一般相关理论，并且赋予多重回归方程系数以零阶相关系数的名称。 实例 主要内容 统计描述： 多重回归与多重相关的概念 多重回归方程与复相关系数 拟合优度与决定系数 统计推断（假设检验） 总体回归方程的方差分析 偏回归系数的 t 检验 最优模型的筛选 注意问题 多重回归方程：定量刻划出一个因变量Y与多个自变量X1，X2…之间的线性依存关系。其中: 自变量可以是随机变动的，也可以人为选定 因变量是服从正态分布的随机变量 若所有变量都是随机的，还可做多重相关来描述因变量与一组自变量之间的线性关系； 用偏相关(partial correlation)描述因变量和一个自变量在扣除其他自变量影响之后的线性相关。 简单线性回归推广为 β0 相当于简单回归中的α βi 为偏回归系数，反映了当其他自变量对因变量的影响固定时，第i个自变量xi每改变一个单位后因变量的平均变化 样本多重回归方程: 一、线性回归模型的前提条件L-I-N-E 线 性(Line):自变量和因变量之间的关系有线性趋势 独立性(Independence):总体中的个体之间相互独立 正态性(Normal)给定一组x值后，相应的y值服从正态分布 等方差(Equal variance)各x值变动时，相应的y有相同的变异度 二、多重回归方程的求解 用最小二乘法寻找适宜的系数b0,b1,b2…bm，使得误差(残差)平方和最小。 计算复杂，一般需借助计算机完成 估计结果 三、假设检验 总体回归方程的整体检验 ——方差分析 总体偏回归系数的假设检验 ——t检验 拟合优度检验 ——决定系数、调整决定系数与方差分析 模型筛选过程中的检验 ——偏回归平方和 三、多重回归的方差分析 用于回答总的来说回归方程是否成立 H0:β1=β2=…=βm=0 H1:β1,β2,…,βm不全为0 方差分析结果 四、偏回归平方和 五、偏回归系数的假设检验 回归方程有统计学意义并不说明每一个偏回归系数都有意义 H0： βi＝0 H1： βi≠ 0 i=1,2,…,m 标准化偏回归系数 ？P值大小能反映自变量对应变量影响的大小吗 ？偏回归系数大小能反映自变量影响的大小吗 偏回归系数计算：数据中心化?估计系数 各个自变量标准化后所求得的标准化回归方程b0=0，各标准化回归系数间可以直接比较绝对值的大小，反映自变量对应变量的线性影响大小 上例标准化偏回归系数结果 六、评价拟合效果的重要统计量 决定系数R2：越接近于1，回归效果越好, 本例R2=SS回/SS总=0.064/0.081=79% 剩余标准差：即残差均方的平方根。回归估计精度的指标，其值越小，估计精度越高。 常用于评价所拟合的回归方程的好坏程度，但是不能单靠增加自变量的数目来提高决定系数。全面地衡量，应当是既要确定系数大，又要自变量数目少，为此可采用校正确定系数 六、多重相关 (multiple correlation) 当自变量和因变量均为多元正态分布的随机变量时，才考虑进行相关性分析。 1.简单相关系数： 对于一组随机变量x1 ,x2,…, xm和y的样本，可计算其中任何两个变量间的相关系数。可列成相关系数矩阵。 推断各总体简单相关系数是否为0的假设检验可用t检验或查r界值表 一个变量与一组变量的的相关的密切程度可由复相关系数反映,即Y和 的简单相关系数 前例R2=0.79，R=√0.79=0.89 复相关系数的平方就是决定系数。其是否为0的假设检验等价于多重回归的方差分析。 设总体中扣除q个变量影响后的偏相关系数为ρ(-q)，样本中相应的偏相关系数为 r(-q), H0: ρ(-q)=0, H1: ρ(-q)≠ 0 第二节 回归分析中自变量的选择 回归方程中的自变量并非多多多多益善 回归方程中的自变量并非都有统计学意义 回归方程中的自变量并非都符合专业解释 最优模型筛选 目标：如何选择最好的、符合专业解释的回归模型 用较少的自变量建立回归方程 要求：选择自变量首先要靠背景知识来指导，所选方 程符合专业知识，最后还要靠其来验收 方法：全局择优、局部择优 选