数学与应用数学线性回归模型精选.docVIP

线性回归模型 新疆师范大学数理信息学院数学03-6班 摘要：建立线性回归模型是建立Y与X的适当的线性回归关系，通过及最小二乘估计和有关的统计推断可以预测未来的数据。 关键词：多元线性回归模型，多元线性回归模型的矩阵表示，及的最小二乘估计，统计推断。 线性回归模型 1、线性回归模型及其矩阵表示 设Y是一个可观测的随机变量，它受到p-1个非随机因素和随机因素的影响。若Y与有如下线性关系： 称此模型为线性回归模型，其中是未知参数（回归系数）；是应变量或响应变量；称自变量或回归变量；称为随机误差项并假定是不可观测的随机变量，而Y与是可观测的变量。要建立多元线性回归模型，首先要估计未知参数进行n(np)次独立观测，得到n组数据（样本） 其中相互独立且均服从分布。 令 其中Y称为观测向量，X称为设计矩阵。并假定X为列满秩的，即，是对估计的未知参数商量，是不可观测的随机误差商量。是多元线性回归模型的矩阵形式。 2、参数估计 2.1的最小二乘估计 如果Y与满足线性回归模型侧误差应是比较小的，因此，选择使误差项的平方和 达到最小，其中 ，为此，将分别对求偏导并令其等于零，得 K=0，1，…，P-1 即 K=0，1，…，P-1 矩阵形式是称此方程为正规方程。 因为故存在，解正规方程即得的最小二乘估计为 2.2误差方差的估计 将自变量的名组观测值代入回归方程，可得因变量的各估计值（称为拟合值）为 称 为残差向量，其中为 n阶对称幂等矩阵，I为n阶单位矩阵，称数 为残差平方和（SSE） 注意到且，故 因此可得 其中表示矩阵的迹，从而 为的无偏估计。 3、有关的统计推断 3.1回归关系的统计推断 给定因变量Y与自变量的n组观测值，利用前述方法可得到未知参数和的估计，从而可给出Y与之间的线性回归方程，但所求得的回归方程是否有意义，也就是说Y与之间是否存在显著的线性关系，还需要对回归方程进行检验。 3.1.1 建立方差分析表 我们知道观测值之所以有差异是由下述两个原因引起的，一是当 Y 与之间确定有线性关系时，由于取值的不同，而引起值的变化；另一方面是除去Y 与的线性关系以外的因素，如对的非线性影响及随机因素的影响等，记 则数据的总的离差平方和 反应了数据波动性的大小 残差平方和 反应了数据除去Y与之间的线性关系以外的因素引起的数据的波动。 如果 回归平方和 反应了线性拟合值与它们的平均值的总偏差即由变量的变化所引起的的波动。 若 SSE，SST和 SSR有如下形式的矩阵表示 J表示一个元素全为1的 n 阶方阵。 自由度：自由度是指平方和中独立变化项的数目。由于有一个关系式 即彼此不是独立变化的，故SST的自由度是n-1，SSE的自由度为n-p，SSR的自由度为p-1，它们的自由度关系是： n-1=(n-p)+(p-1) 方差分析表 方差来源 平方和（SS） 自由度（F） 均方（MS） 回归 p-1 误差 n-p 总和 n-1 利用方差分析表，可对回归方程的显著性做检验。 3.1.2 线性回归关系的显著性检验 为检验Y与之间是否存在显著的线性回归关系，即检验。 假设 给定显著性水平查分布表得临值，计算 F的观测值。 若： 3.2 回归参数的统计推断 回归关系中不一定每个自变量X对Y的影响都显著的。因此，我们对自变量对的显著性关系进行检验。 检验假 的最小二乘估计为 则 而 所以 由于为的无偏估计，从而自然地以 作为的估计。 所以的估计 其中为的全对角线上的第k个元素的平方根， t(n-p)为自由度为n-p的分布 若： 为真 不真 有偏大的趋势 4、实例 摸公司在各地区销售一种特殊的化妆品，该公司观测了15个城市在某个月内对该化妆品的销售量Y及各地区适合使用该化妆品的人数和人均收入的数据如下。 化妆品销售的调查数据 地区 i 销量 人数（千人） 人均收入（元） 1 162 274 2450 2 120 180 3254 3 223 375 3802 4 131 205 2838 5 67 86 2347 6 169 265 3782 7 81 98 3008 8 192 330 2450 9 116 195 2137 10 55 53 2560 11 252 430 4020 12 232 372 4427 13 144 226 2660 14 103 157 2088 15 212 370 2605 假设误差服从分布，试建立与之间的线性回归方程并研究