CN118364088B 基于rag和llm技术的医学文献智能问答系统和方法 （金叶天成(北京)科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118364088B(45)授权公告日2025.07.08

(21)申请号202410635924.2

(22)申请日2024.05.21

(65)同一申请的已公布的文献号申请公布号CN118364088A

(43)申请公布日2024.07.19

(73)专利权人金叶天成(北京)科技有限公司地址100024北京市朝阳区朝阳北路白家

楼甲1号红庄国际文化保税创新园区

E-1-1

(72)发明人郭奇田立军

(51)Int.CI.

GO6N3/084(2023.01)

GO6N5/02(2023.01)

G16H70/20(2018.01)

G16H70/40(2018.01)

(56)对比文件

A,2023.12.08A,2024.04.05117195877117828050

A,2023.12.08A,2024.04.05

117195877

117828050

审查员范鹏

GO6F16/3329(2025.01)

GO6F16/334(2025.01)

GO6F40/284(2020.01)

GO6N3/045(2023.01)

权利要求书2页说明书7页附图2页

(54)发明名称

基于RAG和LLM技术的医学文献智能问答系统和方法

(57)摘要

CN118364088B本发明公开了一种基于RAG和LLM技术的医学文献智能问答系统和方法。系统包括embedding模型和GPT大模型；embedding模型由依次级联的输入层、词嵌入层、编码器、输出层组成；embedding模型训练方法包括数据收集、预训练数据准备、预训练、微调数据准备、微调模型步骤。问答方法包括构建本地知识库、通过向量检索的方法筛选出k条与用户提问最接近的答案作为参考依据、将问题和相关的答案构成prompt输入模型、通过大语言模型的理解分析生成最终答案步骤。本发明将RAG与医学文献相结合的方式，提升了用户获取内容的便利性，和用户获取知识的效率，实现大语言模型在医学领域的应用实践，提高医学研究人员的工作效率，帮助他们更

CN118364088B

输入层

词嵌入层

编码器自注意力机制层

前馈网络子层

输出层

[V1,V2,V3,….Vm]

CN118364088B权利要求书1/2页

2

1.一种基于RAG和LLM技术的医学文献智能问答系统，其特征在于：包括embedding模型和GPT大模型；

embedding模型由依次级联的输入层、词嵌入层、编码器、输出层组成；

输入层：将输入的自然语言文本分割成一个以上token,各token依次排列形成序列，序列中各token使用词汇表转换成相应的ID,ID为整数；输出相应的ID序列；

嵌入层：将所述ID序列映射为固定维度的词向量，所述词向量由单词向量表示Ewordembeding、token在序列中的位置信息Eposition_embedding、成对句子区分词向量Esegmentembedding组成；词嵌入层的输出向量为：

Eoutput=Eword_embedding+Eposition_embeding+Esegmentembeding;

编码器：由1个以上结构相同但参数不同的编码层串联组成；各编码层包括自注意力机制层和前馈神经网络层；

自注意力机制层对词嵌入层的输出向量进行如下处理：

步骤Z1:生成查询向量、键向量和值向量：嵌入层的输出向量通过相应的权重矩阵生成查询向量、键向量和值向量；

步骤Z2:关注度分数的计算：每个查询向量与所有键向量计算点积，用于表示查询和键之间相似度的关注度分数；

步骤Z3:关注度权重的计算：对每个查询向量的关注度分数应用softmax函数，归一化为概率形式，表示对应键向量的关注度权重；

步骤Z4:注意力向量的计算：将关注度权重与值向量相乘，得到注意力向量；

前馈神经网络层：对注意力向量处理步骤如下：

步骤Q1:第一个线性变换层将注意力向量的维度扩展n倍，n为预设倍数，得到扩展注意力向量；

步骤Q2:应用非线性激活函数处理扩展注意力向量；