L-BFGS算法.docVIP

一、BFGS算法 ????? 算法思想如下： ?????????? Step1?? 取初始点，初始正定矩阵，允许误差，令； ?????????? Step2?? 计算； ?????????? Step3?? 计算，使得 ???????????????????????????????????????????????； ????????? Step4??? 令； ????????? Step5??? 如果，则取为近似最优解；否则转下一步； ????????? Step6??? 计算 ????????????????????????????????，， ????????????????????????? ????????? 令，转Step2. 优点： 1、不用直接计算Hessian矩阵； 2、通过迭代的方式用一个近似矩阵代替Hessian矩阵的逆矩阵。 缺点： 1、矩阵存储量为，因此维度很大时内存不可接受； 2、矩阵非稀疏会导致训练速度慢。 ? 二、L-BFGS算法 ????? 针对BFGS的缺点，主要在于如何合理的估计出一个Hessian矩阵的逆矩阵，L-BFGS的基本思想是只保存最近的m次迭代信息，从而大大降低数据存储空间。对照BFGS，我重新整理一下用到的公式： ?????????????????????????????????????? ????????????????????????????????????????????? ????????????????????????????????? ????????????????????????????????? 于是估计的Hessian矩阵逆矩阵如下：????????????????????????? ???????????????????????????????? ??????????????????????????????????????? 把 ???????????????????????????????? 带入上式，得： ???????????????????????????????? 假设当前迭代为k，只保存最近的m次迭代信息，（即：从k-m~k-1），依次带入，得到： 公式1： ??????????????????????????????? ?????????????????????????????????????? ?????????????????????????????????????? ?????????????????????????????????????? ??????????????????????????????????????? ?????????????????????????????????????? 算法第二步表明了上面推导的最终目的：找到第k次迭代的可行方向，满足： ???????????????????????????????? 为了求可行方向p，有下面的: ? two-loop recursion算法 ?????????????????????????????????? ?????????????????????????????????? ?????????????????????????????????????????? ?????????????????????????????????????????? ??????????????????????????????????? ??????????????????????????????????? ??????????????????????????????????? ????????????????????????????????????????? ????????????????????????????????????????? ???????????????????????????????????? ??????????????????????????????????? 该算法的正确性推导： 1、令:?????，递归带入q： ???????????????????????????????? ????????????????????????????????????? ????????????????????????????????????? ????????????????????????????????????? ????????????????????????????????????? ????????????????????????????????????? ????????????????????????????????????? 相应的： ??????????