CN119739809B 一种基于多级缓存机制的大模型部署方法及系统 （小哆智能科技(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119739809B(45)授权公告日2025.07.08

(21)申请号202510245377.1

(22)申请日2025.03.04

(65)同一申请的已公布的文献号申请公布号CN119739809A

(43)申请公布日2025.04.01

(73)专利权人小哆智能科技(北京)有限公司地址100080北京市海淀区西北旺东路10

号院23号楼三层346室

(72)发明人刘晓玉

(74)专利代理机构北京市恒有知识产权代理事务所(普通合伙)11576

专利代理师赵薇刘伟冲

(51)Int.CI.

GO6F16/31(2019.01)

GO6F16/3329(2025.01)

GO6F16/334(2025.01)

GO6F40/30(2020.01)

(56)对比文件

CN117056479A,2023.11.14CN118503392A,2024.08.16审查员黄欣欣

权利要求书3页说明书14页附图2页

(54)发明名称

一种基于多级缓存机制的大模型部署方法及系统

(57)摘要

CN119739809B本申请提供一种基于多级缓存机制的大模型部署方法及系统，其中，建立第一级动态语义缓存，在新请求匹配时优先反馈重构的答案，对于未命中请求，则启动第二级上下文关联缓存，通过提取隐式语义轨迹向量和构建动态关联图谱识别潜在上下文依赖关系，实现渐进式答案拼接，若仍未能覆盖，则激活第三级意图决策缓存，利用多层级解析结构进行场景归类、状态标记，基于知识拓扑网络生成查询指令并抽取多模态响应元素以生成组合式应答，系统同步执行多级缓存协同优化，根据用户反馈调整缓存策略，并自适应地扩容与淘汰缓存数据，本申请实施例提

CN119739809B

建正第一级动态语义域存，实时捕获在线会话的语义特征编码生成唯一标识符，基

于动态访问权重统计高频语义片段，当新请求的语叉标识符与缓存片段的重叠度满

足预设条件时，聚合离散语叉片段重构完整应答逻辑并优先反馈

针对未命中请求启动第二级上下文关联缓存，提取会话隐式语叉轨进向量，结合历

当第二级缓存未覆盖时激活第三级意图决策缓存，通过多层级解析结构对请求进行

场景归类和状态标记，基于知识拓扑网络生成结构化查询指令，动态调整知识检索

路径权重，提取多模态响应元素生成组合式应答

同步执行多缓缓存协同优化，根据大模型响应结果及用户反馈动态调整缓存语义夜盖范围和匹配优先线，并基于会话流量特征实现缓存容量自适应扩容与淘汰逻辑联

101

102

103

CN119739809B权利要求书1/3页

2

1.一种基于多级缓存机制的大模型部署方法，其特征在于，包括以下步骤：

建立第一级动态语义缓存，实时捕获在线会话的语义特征编码生成唯一标识符，基于动态访问权重统计高频语义片段，当新请求的语义标识符与高频语义片段的重叠度满足预设条件时，聚合高频语义片段重构完整应答逻辑并优先反馈；

针对未命中请求启动第二级上下文关联缓存，提取会话隐式语义轨迹向量，结合历史交互路径构建动态关联图谱，识别跨会话的潜在上下文依赖关系，当检测到关联图谱中存在与当前请求形成逻辑链路的连续语义节点时，触发渐进式答案拼接机制；

当第二级缓存未覆盖时激活第三级意图决策缓存，通过多层级解析结构对请求进行场景归类和状态标记，基于知识拓扑网络生成结构化查询指令，动态调整知识检索路径权重，提取多模态响应元素生成组合式应答；

同步执行多级缓存协同优化，根据大模型响应结果及用户反馈动态调整缓存语义覆盖范围和匹配优先级，并基于会话流量特征实现缓存容量自适应扩容与淘汰逻辑联动；

其中，第一级缓存的语义标识符与第二级缓存的语义轨迹向量空间正交互补，第二级缓存的关联图谱节点与第三级缓存的知识拓扑网络通过语义桥接层映射，且各级缓存更新条件与会话流复杂度动态负相关。

2.根据权利要求1所述的方法，其特征在于，所述针对未命中请求启动第二级上下文关联缓存，提取会话隐式语义轨迹向量，结合历史交互路径构建动态关联图谱，识别跨会话的潜在上下文依赖关系，当检测到关联图谱中存在与当前请求形成逻辑链路的连续语义节点时，触发渐进式答案拼接机制，包括：

提取当前会话中连续交互序列的上下文编码特征，生成具有时序依赖关系的隐式语义轨迹向量；

将所述隐式语义轨迹向量与历史会话库中相同用户标识或相