原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第三讲 线性最小二乘问题
1 引言
2 初等变换矩阵
3 QR 分解
4 奇异值分解
5 线性最小二乘问题的求解方法
6 广义逆与最小二乘
7 最小二乘扰动分析
8 最小二乘问题的推广及其应用
最小二乘问题(LeastSquaresProblem ) 包括:
线性最小二乘问题
总体最小二乘问题
等式约束最小二乘问题
刚性加权最小二乘问题
最小二乘问题在统计学, 最优化问题, 材料与结构力学, 信号与图像处理
等方面都有着广泛的应用, 是计算数学的一个重要研究分支, 也是一个活
跃的研究领域.
2/98
本讲主要介绍求解线性最小二乘问题的三种直接法:
正规方程法(也称法方程法)
QR 分解法
SVD 分解法
一般来说, 正规方程法是最快的, 特别是当 的条件数较小时, 正规方程
法几乎与其他方法一样精确. 而SVD 分解法是最慢的, 但结果最可靠.
为了方便起见, 我们有时将线性最小二乘问题(3.1) 简称为最小二乘问题.
关于最小二乘问题的更多求解方法, 参考[10, 76].
1 引言
考虑线性最小二乘问题
min ∥ ∥ (3.1)
其中 , . 问题(3.1) 的解称为最小二乘解.
当 且 非奇异时, 这就是一个线性方程组, 解为 ;
当 时, 未知量个数大于约束个数, 此时我们称问题(3.1) 为欠
定(或亚定) 的(underdetermined).
当 时, 约束个数大于未知量个数, 此时我们称问题(3.1) 为超
定的(overdetermined);
为了讨论方便, 这里总是假定 是满秩的.
4/98
1.1 欠定方程组
若 , 则 存在无穷多个解. 这时我们通常寻求最小范数解, 于
是问题就转化为下面的约束优化问题
min ∥ ∥ (3.2)
对应的Lagrange 函数为
∥ ∥
其中 是Lagrange 乘子.
此时
文档评论（0）