挑战 Transformer：RWKV 架构的探索与实践-2024全球机器学习技术大会.pdf

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

林玥煜

RWKV元始智能算法工程VP

曾任大数医达科技有限公司算法总监、阿里巴巴数据事业部系统架构师，多年来

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

深耕大数据、人工智能在工业界应用和开发管理。对大语言模型在严肃医疗场景

的应用、开发拥有丰富的实战经验。

演讲主题：

挑战Transformer：RWKV架构的探索与实践

RWKV

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

新一代的大模型架构超越Transformer

林玥煜深圳元始智能有限公司

深圳元始智能有限公司首席算法工程师

元始智能首席算法工程师，负责模型工程化

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

林玥煜毕业于同济大学，有着丰富的深度学习系统搭

建、应用和调优的经验

曾任美国TeleNavInc.高级软件工程师、阿里云高级

技术专家、北京大数医达首席架构师

RWKV

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

计算效率高无限上下文对芯片友好全球开源开放

速度快内存省耗电少适合长文本处理只做矩阵乘矢量Apache2.0协议

项目历史

全球首个RNN大模型

第5/6代

一个人的第4代7B第4代14B第4代