LLM记忆功能实现思路与常见模式分析.pdfVIP

01.LLM实现记忆功能思路

大多数的LLM应用程序都会有一个会话接口，允许我们和LLM进行多轮，并有一定

的上下文记忆功能。但实际上，模型本身时不会记忆任何上下文的，只能依靠用户本身的输

入去产生输出。而实现这个记忆功能，就需要额外的模块去保存我们和模型的上下文信

息，然后在下一次请求时，把所有的信息都输入给模型，让模型输出结果。

所以为LLM添加记忆其实非常简单，就是在Prompt中预留chat_history占位符，

将Human/Ai的信息到占位符中，并且实时保存Human/Ai的信息，在

每一次时到预留占位符即可完成最简单的记忆功能。

流程如下：

1.1ChatModel记忆功能演示示例

第1次提问请求：

[

{role:system,content:你是OpenAI开发的机器人，热衷于帮用于解决问题。

},

{role:human,content:你好，我是慕小课，我打篮球，你是？},

]

AI响应内容：

{role:ai,content:你好，慕小课！我是ChatGPT，一个由OpenAI训练