L1正则化问题的对偶性理论.pdfVIP

第54卷 第 1期 中山大学学报 (自然科学版) Vo1．54 No．1 2015年 1月 ACTA SCIENTIARUM NATURALIUM UNIVERSITATIS SUNYATSENI Jan． 2015 DOI：10．1347／j．cnki．actmsnus．2015．01．003 。 正则化问题的对偶性理论 吴焚供 (1．华南师范大学数学科学学院，广州 广东510631； 2．广东第二师范学院数学系，广州 广东510303) 摘 要：L正则化问题是一个非光滑的无约束最优化问题，在变量选择，数据压缩和图像处理等领域有广泛的 应用。给出了 问题最优解存在的新的必要条件和充分条件 ，利用这些条件构造出L正则化问题的一个 Mond· Weir型对偶问题 ，最后给出了相应的弱对偶定理和强对偶定理。 关键词 ：L正则化；最优解；对偶问题 中图分类号：0224 文献标志码 ：A 文章编号：0529—6579(2015)0l一0010—03 DualityTheorem forL1-Regularization Problem WU ， ， (1．DepartmentofMathematics，SouthChinaNormalUniversity，Guangzhou510631，China； 2．DepartmentofMathematics，GuangdongUniversityofEducation，Guangzhou510303，China) Abstract：Ll—regularizationproblem isanon—smoothunconstrainedoptimizationproblem，whichiswide- lyusedinthefieldssuchasvariableselection，datacompressionandimageprocessing．Optimalitycon— ditionsforthesolutionofL1一regularizationproblem isgiven．AndaMond—Weirtypedualproblem ofrL1 一 regularizationproblem isfomr ulated，byusingtheseoptimalconditions．Finallyaweakdualitytheorem andastrongdualitytheorem areproved． Keywords：L1一regularization；optimalitycondition；dualproblem 正则化问题近年来备受关注，许多研究者考虑 最小化 问题 如下的 。最小化问题 minF()= IIAx—bIl+PllII： (1) minF()= )+PII 其中 ll·ll为欧几里得范数，A∈R ，m n甚 其中_厂()：inr-*R为一光滑函数，P为一给定的非 至m 《n，b∈R 。特别当P=0时，称为 一 负正则化参数，PE [0，1]，变量 ∈R ，Il 问题 ，该问题 旨在找出Ax=b的最稀疏解 (换言 为定义在 R 上的 拟范数，当0P≤1时，定义 之，也就是所有解中非零元最少者)，统计学中的 n l 变量选择方法便可以视为L：一 问题。然而， 正 (∑ ) 则化问题需要求解一个困难的组合优化问题，Tib— 当p=0时，定义 II。=l{