惯性权重学习率.docxVIP

惯性权重学习率

惯性权重学习率

在机器学习与群体智能算法的工程实践中，惯性权重学习率并不是一个孤立存在的超参数概念，而是连接搜索稳定性、收敛速度、全局探索能力与局部开发能力的关键调节变量。很多初学者会把学习率和惯性权重分别看作不同算法体系中的机制，认为梯度下降里的学习率与粒子群优化中的惯性权重属于两套互不相干的语言，但在更广义的优化范式里，二者都承担着控制历史信息保留强度、当前梯度或速度更新幅度、以及未来搜索方向偏置的作用。当模型面对高维非凸损失面、稀疏奖励环境、动态数据流或者多峰搜索空间时，固定不变的更新步长往往会导致早期收敛过慢、中期震荡加剧、后期难以跳出局部极值。因此，把惯性权重学习率