一种非凸随机优化框架下的度量学习算法研究.pdfVIP

2025年3月10日现代信息科技Mar.2025

第9卷第5期ModernInformationTechnologyVol.9No.5

DOI:10.19850/ki.2096-4706.2025.05.018

一种非凸随机优化框架下的度量学习算法研究

徐忠城1，2，胡恩良1，2

（，；，）

1.云南师范大学数学学院云南昆明6505002.云南省现代分析数学及其应用重点实验室云南昆明650500

摘要：文章针对度量学习原凸问题的非凸重新表述，提出了一种带方差缩减策略的非凸随机优化算法（ML_

NSVR），用于更高效地求解非凸度量学习问题。在适当的初始选择下，该算法在有限制的强凸条件下能够收敛，其收

敛性得到了理论证明。数值实验验证了算法的有效性，为解决非凸度量学习问题提供了一种新的思路。同时，文章将

所提算法与传统的随机梯度下降算法（SGD）和随机方差缩减梯度算法（SVRG）进行了优化效果对比。实验结果表明，

ML_NSVR算法的效率更高。

关键词：随机优化；度量学习；方差缩减；非凸优化

中图分类号：TP181文献标识码：A文章编号：2096-4706（2025）05-0099-06

ResearchonaMetricLearningAlgorithmundertheNon-convexStochastic

OptimizationFramework

XUZhongcheng1,2,HUEnliang1,2

(1.SchoolofMathematics,YunnanNormalUniversity,Kunming650500,China;

2.YunnanKeyLaboratoryofModernAnalyticalMathematicsandApplications,Kunming650500,China)

Abstract:Aimingatthenon-convexre-representationoftheoriginalconvexprobleminmetriclearning,ML_NSVR

isproposedasanon-convexstochasticoptimizationalgorithmwithvariancereductionstrategytosolvenon-convexmetric

learningproblemsmoreefficiently.Underappropriateinitialselection,thealgorithmcanconvergeunderrestrictedstrongly

convexconditions,anditsconvergenceisprovedtheoretically.Theeffectivenessofthealgorithmisverifiedbynumerical

experiments,whichprovidesanewideaforsolvingnon-convexmetriclearningproblems.Atthesametime,thispapercompares

theoptimizationeffectoftheproposedalgorithmwiththetraditionalStochasticGradientDescent(SG