深度学习 配套课件.ppt

本章小结本章详细介绍了深度强化学习的基本概念、算法原理及其实例。深度强化学习结合了深度学习和强化学习的优势，通过智能体与环境的交互学习复杂的决策策略，可分为价值学习与策略学习等门类。深度强化学习在游戏智能、自动驾驶和机器人控制等领域有广泛的应用，展示了其在解决复杂实际问题中的应用潜力。本章揭示了深度强化学习的理论基础和算法进展，为读者提供了全面理解和应用深度强化学习的基础。9-1如何开发能够跨越多个任务和环境的通用强化学习算法？当前的强化学习模型往往在特定任务上表现出色，但在任务变化或环境变化时表现不佳，应该如何改进这些模型以实现更好的转移学习？9-2强化学习算法往往需要大量的训练数据才能达到良好的性能。如何设计更高效的算法，使其在样本有限的情况下也能表现出色？有哪些现实世界的应用可以受益于样本效率的提升？9-3在一些需要长时间决策的任务中，如气候变化对策或城市规划，强化学习如何设计有效的长期策略？这些策略如何在不确定性和环境变化中保持鲁棒性？9-4在多智能体环境中，强化学习算法如何处理个体之间的合作与竞争关系？这些算法如何确保系统的整体效率和稳定性？例如，在无人机群或机器人团队中，不同个体如何协同完成复杂任务？思考题与习题10深度迁移学习目录|CONTENTS迁移学习概述1基于微调的方法2基于冻结CNN层的方法3渐进式学习方法4基于对抗思想的方法56相关数据集迁移学习概述11.1迁移学习概述核心定义机器学习传统假设：训练集与测试集同分布迁移学习目标：跨分布/跨领域知识复用类比举例：中国象棋→国际象棋、自行车→摩托车核心问题：如何挖掘新旧任务之间的相似性适用场景场景1：数据标注成本高目标数据标注稀缺→迁移相似领域已标注数据场景2：冷启动问题跨领域推荐（如图书→电影推荐）场景3：小样本泛化需求传统模型易过拟合→迁移预训练知识提升鲁棒性场景4：数据分布偏移动态环境（如时间/空间变化）→自适应调整模型1.2深度迁移学习概述定义利用深度学习模型(如神经网络)迁移跨领域知识核心价值降低训练成本(时间/数据/算力)案例:COVID-19早期X光检测(小数据高精度)与传统迁移学习的区别强调深度模型的特征抽象能力可处理更复杂的非线性关系与其他学习范式的对比半监督学习:同分布、目标域无标签多任务学习:任务间同时相互增强多视图学习:多模态数据联合优化1.3深度迁移学习方法分类基于模型调整的方法方法1：微调（Fine-tuning）步骤：预训练模型→目标数据微调部分/全部参数代表算法：ImageNet预训练模型+领域自适应微调方法2：冻结CNN层（FrozenLayers）原理：冻结底层视觉特征，仅调整高层分类器适用场景：目标数据与源数据底层特征相似渐进式学习（ProgressiveLearning）策略：保留部分预训练层+添加新层逐步训练优势：平衡旧知识保留与新知识学习对抗方法（Adversarial-based）核心思想：特征对齐（源域与目标域分布一致化）代表算法：DANN（域对抗神经网络）基于微调的方法22.1核心概念与价值定义与核心思想?微调（Fine-tuning）：在预训练模型（如ImageNet训练的ResNet）基础上，通过调整部分/全部参数适配新任务。类比：像“改造已有建筑”而非“从头盖楼”。核心目标：知识复用：利用源任务（如通用图像分类）的底层特征（边缘、纹理）加速目标任务（如医疗影像诊断）。成本控制：减少数据需求与训练时间（案例：CIFAR-10微调仅需1/10训练时间）。价值：小数据高效训练（如数字遗产保护仅需千级样本）。跨领域泛化（如工业缺陷检测→艺术品瑕疵识别）。挑战：灾难性遗忘：过度调整导致源任务知识丢失（如模型忘记ImageNet类别）。原因：参数更新覆盖旧任务的关键权重。解决方案：弹性权重固化（EWC）或渐进解冻（ProgressiveUnfreezing）。负迁移：源与目标任务差异过大导致性能下降（如语音模型→图像分类）。预防：计算领域相似性（如MMD距离、CORAL指标）。2.2微调方法的基本流程步骤1：选择预训练模型评估标准：任务相关性：源与目标任务的语义关联（如自然图像→医学图像）。特征空间重叠性：通过t-SNE可视化对比特征分布。反例警示：?语音识别模型（频谱特征）→图像分类（空间特征）。步骤2：模型结构调整输出层改造：代码示例（PyTorch）：model.fc=nn.Linear(model.fc.in_features,num_classes)?#替换R