2025年自然语言处理与语音识别手册.docx

2025年自然语言处理与语音识别手册

第1章基础模型与架构演进

1.1Transformer架构核心机制详解

引言：在1980年代，Transformer架构由Google提出，彻底改变了自然语言处理（NLP）的计算范式，取代了传统的循环神经网络（RNN）和卷积神经网络（CNN）。其核心突破在于通过自注意力机制（Self-Attention）实现了并行计算，使得模型能够同时关注序列中任意两个元素，从而解决了RNN在处理长序列时的“梯度消失”问题。位置编码（PositionalEncoding）：由于Transformer是无向的，它无法区分序列中词语的先后顺序