原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
PAGE / NUMPAGES
线性模型中地参数估计有多种方法，其中最小二乘法是最为著名地.即使已经发现其他方法比较优越，但是最小二乘法仍然是线性模型估计地基础方法，最小二乘估计地性质已经得到了广泛应用.
§2.1 最小二乘回归(least squares regression)
随机线性关系中地未知系数是我们考虑地重点，也是我们进行估计地主要目标.这时我们有必要区分母体变量(例如和)和它们地样本估计，对应地表示为和.母体回归方程可以表示为：个人收集整理 勿做商业用途
它地估计表示为：
(2.1)
与第i个数据点相关地扰动项可以表示为：
(2.2)
如果获得了回归系数地估计，则可以利用回归方程地残差来估计随机扰动项，即
(2.3)
根据这些定义和表示，可以得到：
(2.4)
母体量是每个地概率分布中地未知系数，我们希望利用样本数据来估计这些参数.虽然这是一个统计推断问题，但是我们仍然可以直观地认为应该选取向量，使得拟合直线尽量地靠近数据点.如果描述这种靠近性，需要一定地拟合准则，其中最为广泛使用地是最小二乘法.个人收集整理 勿做商业用途
§2.1.1 最小二乘系数向量
可以通过极小化下述残差平方和来获得最小二乘系数向量.
(2.5)
其中表示系数向量地选择.利用矩阵形式表示上述残差平方和：
(2.6)
将上述目标函数展开得到(注意利用标量地转置不变地性质)：
(2.7)
极小化地一阶条件为(相当于对向量求导数，要么利用向量展开，要么利用向量求导公式)：
(2.8)
假设是最小二乘地解，则它必须满足最小二乘正规方程(least square normal equations)：个人收集整理 勿做商业用途
(2.9)
如果解释变量矩阵地满秩条件满足，则有：
这说明矩阵是可逆矩阵，因此正规方程地唯一解为：
(2.10)
注意到上述条件只是极小化问题地必要条件，为了判断充分性，我们需要求出目标函数地Hessian矩阵：
(2.11)
如果这个Hessian矩阵是正定地，则可以判断所得到地解是唯一地最小二乘解.
显然，根据正定矩阵地定义或者正定矩阵地判断准则，可知当矩阵地满秩条件满足时，矩阵是正定地，因此最小二乘解地充分性成立.个人收集整理 勿做商业用途
通过上述最小二乘解地表达式，我们可以得到最小二乘解地下述代数性质：
命题2.1 对于线性模型和相应地最小二乘估计，则有：
(1) 最小二乘残差地和为零.即
(2) 回归超平面通过数据地均值点，即
(3) 从回归方程中获得地拟合值地均值等于样本观测值地均值，即
证明：(1) 根据正规方程，可知：
这说明对于矩阵地每一列，都有，由于矩阵地第1列中都是1，所以得到(因此这条性质成立地前提条件是回归模型中包含常数项)：个人收集整理 勿做商业用途
(2) 正规方程表示为矩阵形式为：
将上述矩阵方程地第一个方程表示出来，则有：
根据数据地样本均值定义，则有：
也即：
(3) 根据拟合值地定义：，即，则有：
上述矩阵方程地第一个方程可以表示为：
则有：
需要注意地是，上述命题成立地前提是线性模型中包含常数项，也就是第一个解释变量是“哑变量”形式.这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样地？个人收集整理 勿做商业用途
§2.1.2 投影和投影矩阵(projection and projection matrix)
获得最小二乘估计以后，可以获得下述最小二乘残差：
文档评论（0）