深度学习及其应用课件 5 自注意力.pptxVIP

自注意力

Transformer

目录

Seq2Seq模型

Transformer模型

BERT模型

GPT模型

混合专家模型

ctpn文字识别推理实验

Seq2Seq模型

Seq2Seq（SequencetoSequence）模型是一种用于处理序列到序列转换任务的深度学习架构，广泛应用于

机器翻译、文本摘要、对话系统、语音识别等领域。能够根据给定的序列，通过特定的生成方法生成另一个序列的方法，同时这两个序列可以不等长，解决了RNN要求序列等长的问题。

引入注意力机制后不再依赖一个固定上下文向量，而是对输入序列所有隐藏状态进行加权组合，生成一个动态的上下文向量。

输