大数据技术在会计与财务中的应用 课件 4.6自注意力机制和bert.pptxVIP

;;前文所述的RNN和LSTM模型的一个重大缺陷是无法并行处理输入序列中的元素。为了解决这个问题，Vaswani等在2017年提出了以自注意力机制为核心的Transformer模型。自注意力机制是一种能够计算序列中各个元素之间的依赖关系的机制，可以并行计算序列中各个元素的表示。自注意力机制允许模型在处理序列的每个元素时考虑到序列中的所有其他元素，以便更好地理解整个序列的上下文。这种机制的关键是能够捕捉序列内部的长距离依赖关系，而不像传统的RNN和LSTM那样受到序列长度的限制。Transformer模型在机器翻译等任务上取得了很好的效果，成为了自然语言处理领域的一个重要模型。而在此基础上开发的BERT模型，随后风靡学术界和业界，在文本分析领域得到了极为广泛的应用。

自注意力机制的工作流程

（1）输入表示：序列中的每个元素（如单词或字符）首先被转换为固定长度的向量表示。

（2）打分：通过计算序列中各元素之间的相互作用（通常是通过点积或其他相似性度量）来赋予不同的权重。

（3）权重归一化：使用Softmax函数将这些权重归一化，使它们的总和为1，这样每个元素与其他元素的关联程度就被量化了。

（4）加权求和：根据归一化的权重对所有输入向量进行加权求和，得到每个位置的输出表示。

;自注意力机制是Transformer模型的核心，它使得每个序列元素可以直接与其他所有元素关联，而不是通过多个步