第5章 凸优化_第1节 优化与机器学习的内在联系.pdfVIP

⼀、优化与机器学习的内在联系

1.1机器学习的核⼼是最优化：⽬标函数、损失函数与模型学习学

1.1.1什么是“最优化”在机器学习中的含义数

修

1.1.2⽬标函数的构成：从模型到优化问题必

习

1.1.3损失函数的类型与数学意义学

器

1.1.4模型学习过程中的最优化求解机

-

壮

1.1.5示例：⼀维线性回归的完整优化流程

大

s

o

c

1.1.6总结：优化视⻆下的机器学习流程

1.2优化在训练、正则化、调参中的⻆⾊

1.2.1优化在模型训练中的⻆⾊：参数估计

1.2.2优化在正则化中的⻆⾊：防⽌过拟合

1.2.3优化在超参数调节中的⻆⾊：寻找最优泛化模型

1.2.4总结：优化构成机器学习三⼤环节的内核

1.3常⻅优化问题回顾：最⼩⼆乘、最⼤似然估计、正则项建模

1.3.1最⼩⼆乘法

1.3.2最⼤似然估计

1.3.3正则项建模：控制复杂度，提升泛化能⼒

1.3.4⼩结

1.4为什么关注凸优化：全局最优性、理论保证、⾼效算法⽀持学

1.4.1全局最优性：凸函数只存在⼀个最优解数

1.4.2理论保证：可导、可控、结构清晰修

必

1.4.3⾼效算法⽀持：数值稳定与收敛性保证习

学

器

1.4.4案例⽐较：凸vs⾮凸在模型训练中的实际效果

机

-

1.4.5⼩结：凸优化为何重要壮

大

s

1.5凸优化vs⾮凸优化：对⽐、过渡与机器学习中的分界

o

c

1.5.1基本定义对⽐：凸函数与⾮凸函数

1.5.2⽬标函数结构与可视化对⽐

1.5.3模型结构的凸/⾮凸划分

1.5.4从凸到⾮凸的过渡⽅式

1.5.5凸与⾮凸的边界场景：分界