第二章一般多元线性回归模型.PDFVIP

第二章 一般多元线性回归模型 前面一章讲的是一元线性回归，本章将模型推广到多元线性回归。回归函数还是线性函数， 不过自变量扩展至多元。 金融理论从资本资产定价模型（CAPM）发展到套利定价理论（APT），在数理统计方面就是 从应用一元线性回归发展到应用多元线性回归。本章先介绍套利定价理论，以实例说明套利过 程，引入多元线性回归模型，随之介绍一般多元线性回归模型的参数估计、假设检验等基本原 理。然后本章深入讨论多元线性回归模型一些特别情况及解决办法，如自变量选择准则与逐步 回归，自变量变换与多项式回归等。本章的凸集间交互投影的迭代算法求线性模型的最小二乘 解，在数学上有一定特色。 我们知道，数学学科包括数学分析、代数、几何、方程、数论、函数论、运筹学、概率论 与数理统计等专业，其中应用最广泛的当属概率论与数理统计；概率统计专业里包括随机过程、 时间序列分析、贝叶斯理论、非参数方法、多元统计分析、质量控制、可靠性理论等领域，其 中应用最广泛的当属多元统计分析；多元统计分析领域包括方差分析、相关分析、聚类分析、 判别分析、因子分析、对应分析、路径分析、生存分析、回归分析等研究方向，其中应用最广 泛的当属回归分析；回归分析方向研究线性回归模型、非线性回归模型、非参数回归模型、滞 后回归模型、联立回归模型等，其中应用最广泛的当属线性回归模型，尤其是多元线性回归模 型。多元线性回归模型的重点是参数估计，核心是高斯－马尔可夫定理。 多元线性回归模型 2 Y Xβ +ε ，E (ε) 0 ，D (ε) σ I n （2.0.1） 其中X 为n ×p 的设计矩阵，模型参数的最小二乘估计为 ˆ ′ −1 ′ ˆ 2 1 ˆ ˆ β (X X ) X Y ，σ (Y −Xβ) (Y −Xβ) （2.0.2） n −p ˆ 高斯－马尔可夫定理证明了此时的β 为最小方差的线性无偏估计。第二章到第六章都是围绕 着这个重点和核心展开的。如果要对模型作检验，需要对误差作出正态分布的假定，即 2 ε ~ N (0,σ I n ) 。 让我们眼睛仔细看着多元线性模型的表达式，从前到后扫描每一个字母。如果对因变量Y 的观测被截断了一些，那么可以看第六章的 Tobit 模型。如果需要对自变量X 进行筛选，那 31 么可以看本章第三节的逐步回归、逐级回归。如果需要对变量进行变换以改进线性，那么可以 ˆ 看本章的第四节。如果 ′ X 列向量线性相关，那么X X 的逆矩阵不存在，β将不唯一，可以看 ˆ 本章第五节的通解问题；如果X 列向量近似线性相关，那么X X 的逆矩阵不稳定，需要对β′ 进行改进，可以看第三章的有偏估计、岭回归、主成分回归；如果X 是随机的，那么可以从 条件期望的角度进行回归分析，可以看第五章第一节的随机效应问题。如果Y 、X 不是数字 表达的，或者是离散数字表达的，那么需要看第六章的虚拟变量与离散变量问题。如果对回归 2 系数β 有约束条件，那么需要看第六章第三节的约束回归、配方回归。如果D (ε) ≠σ I n ，