《人工智能基础及应用》课件 3.4 Transformer.pptxVIP

3.4Transformer《人工智能基础及应用》

CONTENTS目录Transformer的诞生010203核心原理探秘Transformer整体架构

卷积神经网络(CNN)擅长捕捉局部特征和模式，通过卷积核提取空间或时间维度上的局部关联，是视觉处理的基石。经典模型基石架构的瓶颈与困境是否存在一种架构，既能实现高效的并行计算，又能有效捕捉任意长度的长距离依赖？循环神经网络(RNN)专为序列数据设计，通过循环结构维持内部状态，天然具备对历史信息的记忆能力。RNN的效率与长距难题受限于时间步的顺序依赖，并行计算困难；且因梯度消失问题，难以捕捉长距离的语义关联。CNN的感受野局限标准卷积核