罗璇-RWKV开源模型架构不一定是Transformer.docxVIP

开源模型架构，不?定是

开源模型架构，

不?定是Transformer

演讲?：罗璇

元始智能/COO

罗璇，多年“AI+机器?”产研经验RWKV元始智能联创COO前C轮机器?公司联创前阿?AI

罗璇，多年“AI+机器?”产研经验

RWKV

元始智能联创COO

前C轮机器?公司联创

前阿?AILab产品总监

?模型的现状很热闹不赚钱（除了英伟达）

?模型的现状

很热闹

不赚钱

（除了英伟达）

CONT?E录NTS0102Transformer的崛起与挑战回顾RNN发展0304RWKV社区RWKV开发者的实践

CONT?E录

NTS

01

02

Transformer的崛起与挑战

回顾RNN发展

03

04

RWKV社区

RWKV开发者的实践

Transformer崛起和挑战

Transformer

崛起和挑战

??模型的历史前神经?络-神经?络-?模型

??模型的历史

前神经?络-神经?络-?模型

Transformer迅速占据优势地位

Transformer迅速占据优势地位

Transformer相?RNN的优势解决了RNN的核?问题?注意?并?性Transformer不使?隐藏状态来捕获数据序列的相互依赖性。相反，它们使??注意?头来并?处理数据序列。这使Transformer能够使?