解决目标函数不可导问题.docxVIP

解决目标函数不可导问题

解决目标函数不可导问题

解决目标函数不可导问题

一、次梯度理论与广义导数框架的构建

在经典光滑优化体系中，梯度下降法的全部理论根基都建立在目标函数在每一点存在唯一切平面这一前提之上。然而当目标函数出现尖点、折角、绝对值结构、最大值结构或约束指示函数时，传统导数在不可导点彻底失效。解决这一问题首先不是绕过数学，而是把导数的概念本身推广为次梯度与次微分。对于凸函数而言，若在某点存在一个向量使得对定义域内任意点都满足一阶支撑不等式，那么这个向量就是该点的一个次梯度，全部满足条件的向量构成次微分集合。次微分把原来唯一确定的下降方向，扩展为一簇可能方向。在光滑点，次微分退化为单点集也就是普通梯度；在不可导点，次微分是一个区间或者集合。比如在绝对值函数零点处，次微分是负一到正一之间的任意值；在ReLU零点处，次微分是零到一之间的任意值。这种集合化描述让优化算法在不可导点依然可以选取某个次梯度作为更新方向，从而避免无定义导致的中断。更进一步，对于非凸非光滑函数，克拉克次微分通过取邻域内梯度极限点的凸包来定义广义梯度，使得诸如深度学习里大量使用的分段光滑结构也能被统一分析。次梯度框架的价值不在于它给出唯一答案，而在于它承认不可导点附近存在多个等价下降方向，并把方向选择问题转化为可计算的集合运算。工程实现中，自动微分框架往往会在不可导点人为规定一个特定次梯度，例如在ReLU