提炼目标函数关键特征.docxVIP

提炼目标函数关键特征

提炼目标函数关键特征

提炼目标函数关键特征

一、从数学结构与优化性质中提炼目标函数的关键特征

（1）凸性与非凸性决定解空间的全局可辨识性。目标函数最基础的特征并非其表达式长短，而是其整体形状是否具备凸结构。对于凸函数，任意两点连线上的函数值不低于函数图像本身，这一性质直接带来局部极小即全局极小的理论保证。在经验风险最小化框架中，均方误差、逻辑回归负对数似然、铰链损失等经典形式在参数空间上具备凸性，因而梯度下降、牛顿法、坐标下降等算法都能在合理假设下收敛到可解释的最优解。相反，深度神经网络的复合映射使目标函数呈现高度非凸形态，解空间中充满鞍点、平坦区与尖锐极小点，此时不能