原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
线性最小二乘问题-浙江大学数学系
现代数学概论 【科学计算】
3 - 线性最小二乘问题
胡贤 良
浙江大学-数学科学学院
2017年5月4 日
1 / 25
问题
Ax b
其中，A是m n 矩阵 ，且m n 。
1 / 25
例1：多次测量数据不一致
2 / 25
例2 ：数据拟合
找一条二次曲线逼近如下观测点：
t -1.0 -0.5 0.0 0.5 1.0
y 1.0 0.5 0.0 0.5 2.0
类似问题 ：多元线性 回归 、非多项式数据拟合等
3 / 25
解的存在唯一性
1 若spanA是 图凸集 、r b Ax是凸 射 ，则存在唯一
2 A列满秩 存在唯一
3 A秩亏损 ，解仍存在 ，但不唯一
4 / 25
分析的观点：正规方程组
为了求解Ax b ，寻找使 Ax b 的梯度为零的x,故有
2
正正正规规规方方方程程程 （相对易求解）
A TAx A T b
不管m与n的大小关系 ，上述方程组总是具有n个未知n个方
程
A TA是对称矩阵
Hessian矩阵A TA是正定的
5 / 25
算例1的求解
列 出正规方程组
求得正规方程的解为x T 1236 1943 2416 T ，
2
原 问题残量的范数为r 35
2
6 / 25
几何的观点：正交投影(求Ax b)
对于m n的问题 ，一般b spanA ，则 由投影关系
可知r垂直于Ax b ，即 （等同于正规方程组）
A T Ax b 0
7 / 25
敏感性(Sensitivity)与条件数(Condition Number)
上述正规方程组方法即求A的广义逆
A A TA1A T
P A TA是在spanA上的正交投影阵
cond A A A
2 2 2
文档评论（0）