2026年-RWKV引领大模型架构变更的新型RNN-AI应用.pptxVIP

RWKV，引领大模型架构变更的新型RNN

目录CONTENTSRWKV的历史RWKV的架构特点RWKV的基础模型RWKV的落地场景RWKV的未来发展方向RWKV的评测结果

RWKV新一代模型架构/超越Transformer计算效率高推理速度、内存恒定无限上下文适合长文本处理、多轮对话等对芯片友好只做矩阵乘矢量，无KVCache全球开源开放Apache2.0协议

项目历史一个人的开源项目2020年初2022.11RWKV-47B模型开源2023.03RWKV-414B模型开源2023.05RWKV-4论文公开RWKV-57B模型开源种子轮奇绩创坛2024.01RWKV-5和RWKV-6论文公开2024.04RWKV-67B模型开源2024.05第一个商业客户2023.102023.07成立元始智能RWKV-6代码开源全球开发者超过2万2023.06 2023.08 2023.10 2023.12高通全球合作2024.2第一个toC端侧应用

RWKV要解决的问题?Transformer是死胡同算力需求巨大，Scaling-law失效

RWKV正引领大模型的架构迁移RWKV开始于2020年初，正在研发RWKV-7架构名称RWKV作者和论文地址BoPENG/abs/2305.13048架构版本RWKV-6阶段商用算法复杂度O(N)最大模