《深度学习 》课件 第10章-深度迁移学习.pptx

10深度迁移学习

目录|CONTENTS迁移学习概述1基于微调的方法2基于冻结CNN层的方法3渐进式学习方法4基于对抗思想的方法56相关数据集

迁移学习概述1

1.1迁移学习概述核心定义机器学习传统假设：训练集与测试集同分布迁移学习目标：跨分布/跨领域知识复用类比举例：中国象棋→国际象棋、自行车→摩托车核心问题：如何挖掘新旧任务之间的相似性适用场景场景1：数据标注成本高目标数据标注稀缺→迁移相似领域已标注数据场景2：冷启动问题跨领域推荐（如图书→电影推荐）场景3：小样本泛化需求传统模型易过拟合→迁移预训练知识提升鲁棒性场景4：数据分布偏移动态环境（如时间/空间变化）→自适应调整模型

1.2深度迁移学习概述定义利用深度学习模型(如神经网络)迁移跨领域知识核心价值降低训练成本(时间/数据/算力)案例:COVID-19早期X光检测(小数据高精度)与传统迁移学习的区别强调深度模型的特征抽象能力可处理更复杂的非线性关系与其他学习范式的对比半监督学习:同分布、目标域无标签多任务学习:任务间同时相互增强多视图学习:多模态数据联合优化

1.3深度迁移学习方法分类基于模型调整的方法方法1：微调（Fine-tuning）步骤：预训练模型→目标数据微调部分/全部参数代表算法：ImageNet预训练模型+领域自适应微调方法2：冻结CNN层（FrozenLayers）原理：冻结底层视觉特征，仅调整高层分类器适用场景：目标数据与源数据底层特征相似渐进式学习（ProgressiveLearning）策略：保留部分预训练层+添加新层逐步训练优势：平衡旧知识保留与新知识学习对抗方法（Adversarial-based）核心思想：特征对齐（源域与目标域分布一致化）代表算法：DANN（域对抗神经网络）

基于微调的方法2

2.1核心概念与价值定义与核心思想?微调（Fine-tuning）：在预训练模型（如ImageNet训练的ResNet）基础上，通过调整部分/全部参数适配新任务。类比：像“改造已有建筑”而非“从头盖楼”。核心目标：知识复用：利用源任务（如通用图像分类）的底层特征（边缘、纹理）加速目标任务（如医疗影像诊断）。成本控制：减少数据需求与训练时间（案例：CIFAR-10微调仅需1/10训练时间）。价值：小数据高效训练（如数字遗产保护仅需千级样本）。跨领域泛化（如工业缺陷检测→艺术品瑕疵识别）。挑战：灾难性遗忘：过度调整导致源任务知识丢失（如模型忘记ImageNet类别）。原因：参数更新覆盖旧任务的关键权重。解决方案：弹性权重固化（EWC）或渐进解冻（ProgressiveUnfreezing）。负迁移：源与目标任务差异过大导致性能下降（如语音模型→图像分类）。预防：计算领域相似性（如MMD距离、CORAL指标）。

2.2微调方法的基本流程步骤1：选择预训练模型评估标准：任务相关性：源与目标任务的语义关联（如自然图像→医学图像）。特征空间重叠性：通过t-SNE可视化对比特征分布。反例警示：?语音识别模型（频谱特征）→图像分类（空间特征）。步骤2：模型结构调整输出层改造：代码示例（PyTorch）：model.fc=nn.Linear(model.fc.in_features,num_classes)?#替换ResNet最后一层?中间层调整：添加/删除层以适应目标复杂度（如添加Dropout层防止过拟合）。步骤3：选择微调策略?策略适用场景训练参数量全模型训练大数据+高算力100%冻结底层+微调高层小数据+中等特征相似性30%-70%冻结卷积层+训练分类器小数据+高特征相似性10%

2.3场景驱动的策略选择场景一：小数据+高特征相似性?操作：冻结卷积层，仅训练分类器（策略3）。案例：任务：ImageNet预训练模型→猫狗分类（2类）。步骤：移除原始1000类输出层，替换为2类全连接层。冻结所有卷积层，仅训练新分类器。结果：训练时间减少80%，准确率95%。?场景二：小数据+低特征相似性?操作：冻结部分底层，微调高层（策略2）。案例：任务：自然图像模型→油画风格分类（低相似性）。步骤：冻结前80%卷积层（保留边缘检测能力）。微调后20%层+全连接层（学习风格纹理）。结果：准确率提升15%（对比随机初始化）。?场景三：大数据+低特征相似性?操作：放弃迁移，重新训练（或全模型微调）。案例：任务：英文文本模型→中文文本分类（字符级差异）。结论：从头训练效果优于微调（F1分数高8%）。?场景四：大数据+高特征相似性?操作：全模型微调（策略1）。案例：任务：卫星图像分类→无人机图像分类。技巧：初始低学习率（0.001）避免震荡。

2.4实际应用案例详解案例1：数字遗产保护（Sabatellietal.