【最终】第五章- Transformer结构.pptxVIP

BUPT计算机视觉···第五章Transformer结构ComputerVision

目录01.03.02.04.背景介绍小节介绍章节概述本章总结

01.背景介绍···

01···背景介绍?深度学习在语音识别、自然语言处理和计算机视觉领域取得突破性进展?CNN在视觉任务中表现突出，RNN/LSTM在序列建模中广泛应用?随着任务复杂度提升，传统模型逐渐暴露出建模能力与效率上的局限深度学习的发展传统序列模型面临的挑战?RNN/LSTM依赖时间步递归计算，难以并行?长序列任务中容易出现梯度消失或梯度爆炸问题?远距离依赖关系难以有效建模，影响整体性能

01···背景介绍?2017年Vaswani等人提出Transformer模型?核心创新：完全基于自注意力机制，摒弃循环结构?目标：提升并行计算能力并增强长距离依赖建模能力Transformer模型的提出背景从NLP到计算机视觉的拓展?Transformer在NLP领域取得革命性成功（如BERT、GPT）?研究者尝试将其引入计算机视觉领域?希望利用自注意力机制捕捉图像中的全局依赖关系?CNN主要依赖局部感受野，获取全局信息能力有限?深层CNN虽可扩大感受野，但结构复杂、计算成本高?Transformer为全局建模提供了新的解决思路

02.章节概述···

02···章节概述