机器学习中部分非凸和随机算法研究.pdfVIP

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i ABSTRACT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1 Bregman ADMM 收敛框架理论与应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1.1 Bregman 4 2.1.2 BregmanADMM 7 2.1.3 10 BregmanADMM 11 CustomizedBADMM 12 BADMM 14 2.2 分裂凸函数 ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.1 17 2.2.2 18 2.2.3 19 19 Kurdyka-Łojasiewicz 20 2.2.4 21 22 ℓ− 30 2.2.5 33 2.3 线性迭代重加权 ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 33 2.3.1 ADMM 34 2.3.2 35 2.3.3 ADMM 36 2.3.4 37 2.3.5 38 2.3.6 49 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 I