CN120256644A 结合知识图谱的光明大模型文化知识生成与检索方法 （济南董德建筑劳务有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120256644A(43)申请公布日2025.07.04

(21)申请号202510410071.7

(22)申请日2025.04.02

(71)申请人济南董德建筑劳务有限公司

地址250014山东省济南市历下区山大路

157号华强电子广场Q211

(72)发明人侯立雪

(74)专利代理机构北京利行天下专利代理有限公司16225

专利代理师万欢欢

(51)Int.CI.

GO6F16/36(2019.01)

GO6N5/022(2023.01)

GO6N5/04(2023.01)

GO6F40/30(2020.01)

权利要求书2页说明书12页附图1页

(54)发明名称

结合知识图谱的光明大模型文化知识生成与检索方法

(57)摘要

CN120256644A本申请涉及结合知识图谱的光明大模型文化知识生成与检索方法。该方法包括：根据多模态文化数据进行实体抽取、关系建模与动态补全处理，并结合模糊时间推理算法与跨模态对齐机制，构建文化知识图谱，多模态文化数据包括非结构化文化文本、图像数据和时空元数据，时空元数据包括文本时空元数据和图像时刻元数据；通过用户查询语句和文化知识图谱，结合大模型进行语义对齐处理，得到跨模态语义对齐的联合表示；基于联合表示进行多模态检索-生成联合优化，得到文化知识描述和关联多模态内容。该方法通过多模态数据融合、动态知识补全和模糊时间推理，能够精准生成文化知识描述并检索关联多模态内容，提升了文化知识服务的精准性与

CN120256644A

S101

S101

根据多模态文化数据进行实体抽取、关系建模与动态补

全处理，并结合模糊时间推理算法与跨模态对齐机制，

构建文化知识图谱，多模态文化数据包括非结构化文化

文本、图像数据和时空元数据，时空元数据包括文本时

空元数据和图像时刻元数据

S102

通过用户查询语句和文化知识图谱，结合大模型进行语义对齐处理，得到跨模态语义对齐的联合表示

S103

基于联合表示进行多模态检索-生成联合优化，得到文化知识描述和关联多模态内容

CN120256644A权利要求书1/2页

2

1.结合知识图谱的光明大模型文化知识生成与检索方法，其特征在于，所述方法包括：

根据多模态文化数据进行实体抽取、关系建模与动态补全处理，并结合模糊时间推理算法与跨模态对齐机制，构建文化知识图谱，所述多模态文化数据包括非结构化文化文本、图像数据和时空元数据，所述时空元数据包括文本时空元数据和图像时刻元数据；

通过用户查询语句和所述文化知识图谱，结合大模型进行语义对齐处理，得到跨模态语义对齐的联合表示；

基于所述联合表示进行多模态检索-生成联合优化，得到文化知识描述和关联多模态内容。

2.根据权利要求1所述的方法，其特征在于，所述根据多模态文化数据进行实体抽取、关系建模与动态补全处理，并结合模糊时间推理算法与跨模态对齐机制，构建文化知识图谱，包括：

根据所述非结构化文化文本和所述图像数据，通过跨模态联合嵌入模型进行实体与关系抽取处理，得到实体向量集合和关系集合，所述跨模态联合嵌入模型由文本编码器和图像编码器组成；

通过所述时空元数据的时间模糊描述，采用高斯分布模型构建时间概率密度函数，得到模糊时间标签；

根据所述实体向量集合和所述关系集合，通过图遍历算法生成实体关联路径，并通过预设路径数量阈值，筛选出稀疏实体路径；

根据所述稀疏实体路径，通过强化学习策略进行路径补全处理，生成缺失的三元组，所述强化学习策略的奖励函数由文化领域一致性和用户反馈置信度构成，其中，所述文化领域一致性通过预训练的文化语义空间距离计算，所述用户反馈置信度根据用户对历史生成结果的评分数据统计得出；

将所述实体向量集合、所述关系集合、所述模糊时间标签和所述缺失的三元组进行整合处理，得到所述文化知识图谱。

3.根据权利要求1所述的方法，其特征在于，所述通过用户查询语句和所述文化知识图谱，结合大模型进行语义对齐处理，得到跨模态语义对齐的联合表示，包括：

根据所述用户查询语句，通过大模型进行文本隐层表示生成处理，得到文本隐层表示，所述大模型为基于Transformer架构的预训练语言模型；

基于所述用户查询语句，从所述文化知识图谱中进行子图检索处理，得到关联子图；