文本摘要：Transformers在文本摘要中的应用：3.Transformers架构详解.pdf

文本摘要：Transformers在文本摘要中的应用：

3.Transformers架构详解

1Transformers架构基础

1.1Transformers的起源与动机

Transformers架构首次在2017年由Vaswani等人在论文《AttentionisAllYou

Need》中提出，旨在解决传统序列模型如RNN和LSTM在处理长序列时的效率

和性能问题。在自然语言处理（NLP）领域，尤其是文本摘要任务中，

Transformers通过其独特的自注意力机制，能够并行处理输入序列，显著加快了

训练速度，并且在理解长距离依赖关系上表现出色。

1.1.1动机

并行处理：RNN和LSTM需要按顺序处理序列，这限制了它们在

GPU上的并行计算能力。Transformers通过自注意力机制，允许模型同

时关注序列中的所有位置，从而实现并行计算。

长距离依赖：在文本摘要等任务中，理解文本中长距离的依赖关

系至关重要。自注意力机制使模型能够直接关注到序列中的任何位置，

而无需依赖于序列的顺序，这在处理长文本时尤其有效。

1.2自注意力机制详解

自注意力（Self-Attention）机制是Transformers架构的核心，它允许模型在

处理序列时，对序列中的每个位置的词进行加权，以捕捉词与词之间的关系。

自注意力机制通过计算查询（Query）、键（Key）和值（Value）的点积，然后

通过softmax函数进行归一化，最后与值进行加权求和，得到每个位置的输出。

1.2.1原理

自注意力机制基于以下三个向量：查询（Query）、键（Key）和值（Value）。

对于序列中的每个位置，查询向量代表该位置的词，键向量代表序列中所有词，

值向量同样代表序列中所有词。自注意力机制通过计算查询向量与所有键向量

的点积，得到一个权重分布，然后使用这个权重分布对所有值向量进行加权求

和，得到该位置的输出。

1.2.2示例代码

importtorch

importtorch.nnasnn

1

classSelfAttention(nn.Module):

def__init__(self,embed_size,heads):

super(SelfAttention,self).__init__()

self.embed_size=embed_size

self.heads=heads

self.head_dim=embed_size//heads

assert(self.head_dim*heads==embed_size),Embedsizeneedstobedivisiblebyheads

self.values=nn.Linear(self.head_dim,self.head_dim,bias=False)

self.keys=nn.Linear(self.head_dim,self.head_dim,bias=False)

self.queries=nn.Linear(self.head_dim,self.head_dim,bias=False)

self.fc_out=nn.Linear(heads*self.head_dim,embed_size)

defforward(self,values,keys,query,mask):

N=query.shape[0]

value_len,key_len,query_len=values.shape[1],keys.shape[1],query.shape[1]

#Splitembeddingintoself.headspieces

values=values.reshape(N,value_len,self.heads,self.head_dim)

keys=keys.reshape(N,key_len,self.heads,self.head_dim)

queries=query.reshape(N,quer