超参数优化-齐首华.pdf

BeijingForestStudio

北京理工大学信息系统及安全对抗实验中心

超参数优化

硕士研究生齐首华

2023年1月2日

内容提要

•背景简介

•基本概念

•方法原理

•总结

•参考文献

2

背景简介

•预期收获

–了解超参数的概念以及与普通参数的区别

–了解超参数对模型的影响

–理解超参数调优的基本方法

3

背景简介

•超参数调优

–超参数调优是机器学习或深度学习中必不可少的步骤

–模型的性能与超参数选取直接相关

–调整超参数很难又乏味

4

基本概念

•超参数的概念

–超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据

•超参数的特点

–定义关于模型的更高层次的概念，如复杂性或学习能力。

–不能直接从标准模型培训过程中的数据中学习，需要预先定义。

–通过设置不同的值，训练不同的模型和选择更好的测试值来决定

•模型参数与超参数的区别

–区分两者最大的一点就是是否通过数据来进行调整，模型参数通常是有数据来驱

动调整，超参数则不需要数据来驱动，而是在训练前或者训练中人为的进行调整

的参数

5

基本概念

•超参数类型

–网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核

数量和卷积核尺寸、网络层数和激活函数等。

–优化参数：一般指学习率、批样本数量、不同优化器的参数以及部分损失函数的

可调参数。

–正则化参数：权重衰减系数，dropout比率

6

基本概念

•部分超参数对模型性能的影响

超参数如何提升模型原因注意事项

容量

学习率调至最优过高或过低的学习率，都会优化失败导致降低模型有学习率最优点，在训练的不同时间点都可能变化，所以需要一套有

效容量效的学习率衰减策略

损失函数参数调至最优不合适的超参数会降低模型有效容量对于部分损失函数超参数其变化会对结果十分敏感，而有些则并不

会太影响。在调整时，建议参考论文的推荐值，并在该推荐值数量

级上进行最大最小值调试该参数对结果的影响

批样本数量调至最优大部分情况下，选择适合自身硬件容量的批样本数量，在一些特殊的目标函数的设计中，如何选择样本是很可能影响到模

并不会对模型容限造成显著影响型的有效容限的，例如度量学习（metriclearning）中的N-pair