大模型Transformer架构从0-1架构深度解析.pdf

⼤模型Transformer架构从0-1架构深度解析

【Transformer⼊⻔到实战】transformer基本介绍和常⻅激

活函数

⼀、Transformer到底是个啥

简单来说，
Transformer就是⼀种神经⽹络架构
，就像盖房⼦的图纸⼀样。2017年Google的研究⼈

员在论⽂《Attention
is
All
You
Need》中提出了它，从此改变了整个AI界。

1.1
Transformer解决了什么问题

在Transformer出现之前，处理⽂本主要⽤RNN(循环神经⽹络)和LSTM。但这些模型有个⼤问题：

处理⻓⽂本时太慢了