高教社2025机器学习应用基础教学课件Ch11 -4.pptxVIP

第十一章人工神经网络基础机器学习应用基础韦俊丞常州信息职业技术学院人工神经网络定义人工神经网络训练过程激活函数性能优化目录CONTENTS05示例：鸢尾花分类

性能优化04

过拟合的定义与原因还记得过拟合和欠拟合的差异？过拟合是指模型在训练数据上表现得过于优秀，甚至能够完美地拟合训练数据中的噪声和细节，但在新的、未见过的数据（如测试集或验证集）上表现较差的现象。这种现象通常是因为模型过于复杂，学习到了训练数据中的特定特征，而这些特征并不能很好地泛化到新数据上

批归一化调整数据分布的作用。提前停止训练当模型在验证集上的表现开始下降的时候，停止训练，这样就能避免继续训练导致过拟合的问题。数据增强图像数据增强的常用方法：旋转、裁剪、加噪声Dropout技术随机丢弃部分神经元解决过拟合的关键方法

数据增强数据增强是一种通过对现有训练数据进行变换和扩展的方法，用于增加数据量、改善模型性能并降低过拟合风险。它通过生成额外的训练样本，模拟不同场景下的可能数据分布，从而提升模型的泛化能力。在图像领域，常用的数据增强技术包括旋转、翻转、裁剪、缩放、平移、加噪声、改变亮度或对比度等。这些操作生成的图像虽然不同，但保留了与原图像相同的特征和标签。数据增强的优点在于不需要额外采集数据就能有效扩大训练集，节省时间和成本。它还能提高模型的鲁棒性，对抗因环境变化导致的输入数据偏差。虽然数据增强主要应用于计算机视觉，但在自然语言处理和语音处理等领域也有广泛应用，如文本同义词替换或语音混合技术。

Dropout技术它通过在训练过程中随机“丢弃”一部分神经元，使其暂时失效，从而减少神经元之间的过度依赖，提高模型的泛化能力。Dropout

批归一化批归一化是一种加速神经网络训练并提高稳定性的技术，它通过对每一层神经元的输入进行归一化处理，使数据分布更稳定，有助于缓解梯度消失和梯度爆炸问题。具体而言，在每一批数据（batch）中，BN会计算每个特征的均值和标准差，将输入值归一化为零均值和单位方差，并通过可训练参数恢复数据分布的灵活性

提前停止训练提前停止训练（早停法，earlystopping）是一种被广泛使用的方法，在很多案例上都比权重正则化的方法要好。它是在训练中计算模型在验证集上的表现，当模型在验证集上的表现开始下降的时候，停止训练，这样就能避免继续训练导致过拟合的问题。