深度学习问答12：Transformer架构全方位拆解（编码器+解码器）.docxVIP

深度学习问答12：Transformer架构全方位拆解（编码器+解码器）

一、核心问答正文

问题1：为什么Transformer会成为深度学习时代的标杆架构？

在问答09-11章节中，我们依次学习了RNN、LSTM、GRU循环网络以及Attention注意力机制。我们可以清晰总结出两类模型的优缺点：循环网络依靠串行时序记忆处理序列数据，优势在于短序列低成本运算，短板是无法并行计算、长序列存在记忆损耗；注意力机制凭借全局动态权重聚焦特征，支持全量并行计算，但单纯注意力无法独立完成完整的序列编码、解码生成任务。

2017年Google团队发表《AttentionIsAllYouNeed》，首次提出Transformer架构。该架构摒弃传统循环结构，全程基于纯注意力机制搭建，完美融合循环网络与注意力机制的双重优势，既实现全局并行计算、无损捕捉长距离依赖，又能适配序列分类、序列生成、图像识别等全品类深度学习任务。

时至今日，Transformer已是深度学习大一统架构：NLP领域BERT、GPT、LLaMA等大语言模型，CV领域ViT、DETR检测模型，多模态CLIP模型，底层全部基于Transformer改造而成。同时编码器、解码器结构差异、多头注意力、掩码机制，是软考、算法面试、校招笔试的顶级高频必考知识点。

问题2：Transformer相较于LSTM/CNN的迭代优势

想