视觉SLAM十四讲-第六讲-非线性优化说课讲解.pptx

视觉SLAM十四讲从理论到实践高翔 清华大学 2016年冬第六讲 非线性优化Chapter 6: Non-linear Optimization第六讲 非线性优化本讲目标理解最小二乘法的含义和处理方式。理解Gauss-Newton, Levenburg-Marquadt等下降策略。学习Ceres库和g2o库的基本使用方法。第六讲 非线性优化在给定模型和具体观测时，如何对估计进行优化？上讲回顾三维世界中刚体运动的描述：旋转矩阵、旋转向量、欧拉角、四元数等。观测：相机投影模型。6.1状态估计问题6.1状态估计问题?状态估计问题最简单情况：线性系统，高斯噪声复杂情况：非线性系统，非高斯噪声6.1状态估计问题历史上很长一段时间使用滤波器求解状态估计但近年非线性优化已成为主流我们首先来分析一下如何从概率角度看待此问题6.1状态估计问题类似的，这里z,u也是统称状态变量（所有待求解的量）状态估计等同于求解条件分布：考虑更简单的情况：只有观测时，类似于Structure from Motion （SfM）贝叶斯法则：6.1状态估计问题P(x|z) 条件分布很难求解，但可以求：最大后验估计（Maximize a Posterior，MAP）最大似然估计（Maximize Likelihood Estimation, MLE）“在哪种状态下，最容易产生当前的观测”6.1状态估计问题从最大似然到最小二乘例子：某次观测由于噪声是高斯的：于是现在要求x,y的最大似然估计，怎么求？6.1状态估计问题一般的高斯分布：负对数形式：原问题的最大化，相当于负对数最小化因此，关于原问题的最大似然：相当于最小化：最小化x时，只和它有关这货就是所谓的最小二乘6.1状态估计问题定义误差：我们把状态最大似然估计变成了最小二乘问题对于原问题：最小化误差的二范数：min6.1状态估计问题直观解释由于噪声的存在，当我们把估计的轨迹与地图代入SLAM的运动、观测方程中时，它们并不会完美的成立。此时就调整状态的估计，使得误差最小化该问题有何结构？由许多个误差的平方和（或Sigma范数和）组成。虽然总体维度高，但每个项很简单，只关联2个变量。如果用李代数表达位姿，那么是无约束优化问题。如何求解？下面先来介绍通用的非线性最小二乘问题。6.2 非线性最小二乘6.2 非线性最小二乘这里 ，f 为任意函数先考虑简单的问题：当 f 很简单时：解： 将得到极值点或鞍点，比较这些解即可当 f 复杂时：df/dx难求，或df/dx=0很难解使用迭代方式求解6.2 非线性最小二乘问题：如何确定这个增量？迭代方式：6.2 非线性最小二乘雅可比注意这里是对平方展开的海塞（通常还需要计算步长）?增量的方向：确定增量的方法（即梯度下降策略）：一阶的或二阶的泰勒展开：若只保留一阶梯度：称为最速下降法（Steepest Method）6.2 非线性最小二乘?若保留二阶梯度：则得到（令上式关于 的导数为零）：该方法又称为牛顿法6.2 非线性最小二乘最速下降法和牛顿法虽然直观，但实用当中存在一些缺点最速下降法会碰到zigzag问题（过于贪婪）牛顿法迭代次数少，但需要计算复杂的Hessian矩阵能否回避Hessian的计算？Gauss-NewtonLevenberg-Marquadt6.2 非线性最小二乘?Gauss-Newton一阶近似 f(x)：平方误差变为：令关于 导数为零：6.2 非线性最小二乘?G-N用J的表达式近似了H步骤：6.2 非线性最小二乘?实际下降/近似下降Gauss-Newton简单实用，但 当中无法保证H可逆（二次近似不可靠）Levenberg-Marquadt 方法一定程度上改善了它G-N属于线搜索方法：先找到方向，再确定长度L-M属于信赖区域方法（Trust Region），认为近似只在区域内可靠考虑近似程度的描述若太小，则减小近似范围若太大，则增加近似范围6.2 非线性最小二乘Levenberg令D=I，即取一个球，Marquardt令D取非负对角阵，即椭球这些都是经验值改进版的G-N：6.2 非线性最小二乘Trust Region内的优化，利用Lagrange乘子转化为无约束：仍参照G-N展开，增量方程为：在Levenberg方法中，取D=I，则：6.2 非线性最小二乘?LM相比于GN，能够保证增量方程的正定性即，认为近似只在一定范围内成立，如果近似不好则缩小范围从增量方程上来看，可以看成一阶和二阶的混合参数 控制着两边的权重6.2 非线性最小二乘小结非线性优化是个很大的主题，研究者们为之奋斗多年主要方法：最速下降、牛顿、G-N、L-M、DogLeg等与线性规划不同，非线性需要针对