从上下文到长期记忆:大模型记忆工程的架构设计与实践.docx

从上下文到长期记忆:大模型记忆工程的架构设计与实践.docx

从上下文到长期记忆:大模型记忆工程的架构设计与实践

李志宇

记忆张量(上海)科技有限公司联合创始人兼CTO

大模型性能缩放曲线的演进历史

▲2025-2027

▲

下一个增长曲线?在实践中学习Model

下一个增长曲线?

在实践中学习

Performance

2024-2025

后训练

后训练Scaling

Past-2023

Qwen

Qwen1.0GPT3.5/4.0

预训练

预训练Scaling

DeepSeek-R1

DeepSeek-R1

GPT-O1

Qwen2/3

b

Pre-trainingPost-trainingM

文档评论(0)

1亿VIP精品文档

相关文档