最优化理论与应用-11.pdfVIP

最优化理论与应用最优化理论与应用 第第11讲讲-最最小二乘法乘法 电子科技大学 自动化工程学院 彭晓明彭晓明 1 内容提要 什么是最小二乘问题 线性最小二乘问题 非线性最小二乘问题 作作业3 2 什么是最小二乘问题 线性最小二乘问题 非线性最小二乘问题 作作业3 3 什么是最小二乘问题 举例 假设接受一项治疗的病人在服药 后在不同的时刻后在不同的时刻tt 抽取的血液中抽取的血液中 j 药物浓度为药物浓度为yy 。。我们需要建立我们需要建立一 jj 个模型φ(x;t)来预测在时刻t的药 物浓度物浓度。已知模型已知模型φ(x;t)可以描以描 述为述为 4 什么是最小二乘问题 举例 我们需要确定其中的参数x=(x , 1 TT x , x , x , x )) .为此我们希望根据为此我们希望根据 2 3 4 5 模型预测得到的模型预测得到的φφ(x;t(x;t ))可以很好可以很好 jj 地吻合y ，也即定义下面的最小 j 二乘问题乘问题 5 什么是最小二乘问题 举例 预测模型预测模型φφ 实测 数据yj 6 什么是最小二乘问题 最小二乘问题((least-sqquares problems) 中的目标函数f(x)可 以概括为以概括为 n 其中r :R →R ，称为残差 jj (residual) 假设假设m≥n 7 什么是最小二乘问题 把上面的r (j(j=1~m))放入一个向 jj 量r ，构成所谓的 “残差向量 ((resididuall vecttor))””即即 8 什么是