《智能信息检索与生成式AI应用》课件——3.transformer架构 6.4 AIGC的核心技术.pptxVIP

Transformer架构

01理解Transformer架构02了解预训练大模型学习目标

什么是Transformer来源2017年的论文《AttentionisAllYouNeed》中提出了Transformer模型。这一创新彻底改变了自然语言处理领域的格局Transformer架构的两个核心技术注意力机制是深度学习中一种重要的技术，它通过计算不同输入部分的权重，使模型能够动态聚焦于关键信息，从而提高处理序列数据、图像识别和自然语言处理任务的性能。注意力机制编码器-解码器结构是一种经典的神经网络架构，编码器将输入数据压缩为固定长度的向量表示，解码器则基于该表示生成目标输出，广泛应用于机器翻译、文本摘要和语音识别等领域。编码器-解码器结构

编码器-解码器结构核心思想将输入数据转换为一种中间表示（编码），再从这种表示重构或生成目标输出（解码），类似于通信系统中的编码与解码过程覆盖性

以机器翻译为例假设实现将法语翻译为英语编码器负责理解输入的源语言文本解码器则负责生成目标语言的翻译结果

每个编码器和解码器包含的子层注意力层使模型能够关注输入序列的不同部分。例如，在处理法语句子“Jesuisétudiant”时，对于suis这个词，自注意力层可能会特别关注主语Je和宾语étudiant，因为这3个词在语法上紧密相关前馈网络层进一步处理信息。这一层接