CN114004225B 一种医学文本词向量化方法 （山东健康医疗大数据有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114004225B(45)授权公告日2025.07.11

(21)申请号202111185056.5

(22)申请日2021.10.12

(65)同一申请的已公布的文献号申请公布号CN114004225A

(43)申请公布日2022.02.01

GO6F40/216(2020.01)

(56)对比文件

CN111462896A,2020.07.28

CN109670171A,2019.04.23

审查员林菁

(73)专利权人山东健康医疗大数据有限公司

地址250117山东省济南市槐荫区兴福街

道西城西进时代中心D座1212室

专利权人山东浪潮智慧医疗科技有限公司

(72)发明人荆晨

(74)专利代理机构济南信达专利事务所有限公司37100

专利代理师姜丽洁

(51)Int.CI.

GO6F40/289(2020.01)权利要求书1页说明书7页附图1页

(54)发明名称

一种医学文本词向量化方法

(57)摘要

CN114004225B本发明涉及面向自然语言处理的预训练领域，具体提供了一种医学文本词向量化方法，通过对原始医学文本数据探查建立词库对后续的向量化做准备，然后通过GLOVE模型进行医学数据词向量化；所述原始医学文本分为结构化数据、半结构化数据和非结构化数据，所述结构化数据中有固定的填写要求数据，所述半结构化数据包含一部分电子病历数据，半结构化数据中有固定标识，固定标识中的内容可能空，所述非结构化数据也包含一部分电子病历数据，非结构化

CN114004225B

医学文本词库构建

医学文本词库构建

原始文本处理

模型训练

生成医学文本词向量

CN114004225B权利要求书1/1页

2

1.一种医学文本词向量化方法，其特征在于，对原始医学文本数据建立词库，通过GLOVE模型进行医学文本数据词向量化；

所述原始医学文本分为结构化数据、半结构化数据和非结构化数据；

在GLOVE模型搭建中，包括大段文本搭建、细项文本搭建、全局及详情共现矩阵搭建和矩阵向量化；大段文本搭建是根据断句符将文本分成多条句子，得到T=[S1,S2,S3,…,

Sn];对以上[S1,S2,S3,…,Sn]句子进行细项切割，得到S=[X1,X2,X3,…,Xn];

因为GLOVE模型是根据全局信息去计算词向量，会缺失部分上下文之间的关系，所以对S和T文本都进行共现矩阵的计算，并对T文本计算出的共现矩阵取：Si=Xs=∑Xsik

在计算S文本生成的共现矩阵Xi时加入Si,以保留部分上下文之间联系；

在全局及详情共现矩阵搭建中，若每个分句无重复词：在分解T文本时对每个S文本打上标记C,使得之后的共现矩阵Xi带着标记用于Si去计算相应的子项，打上标记后的文本表示为：

T3=[(S1,C1),(S2,C2),(S3,C3),…,(Sn,Cn)]

Si=[(X1,Ci),(X2,Ci),(X3,Ci),…,(Xn,Ci)]

若分句存在重复词情况：在分解T文本时对每个S文本打上标记C,使得之后的共现矩阵Xi带着标记用于Si去计算相应的子项，对于含有重复项的子项标记为CiCj,打上标记后的文本表示为：

T”=[(S1,C1),(S2,C2),(S3,C3),…,(Sn,Cn)]

Si”=[(X1,CiCj),(X2,Ci),(X3,CiCj),…,(Xn,Ci)];

在矩阵向量化中，包括：设置入参，入参为通过全局及详情共现矩阵搭建中计算得出的共现矩阵；构建矢量矩阵；构建偏差项；通过梯度下降法进行训练；输出向量矩阵。

CN114004225B说明书1/7页

3

一种医学文本词向量化方法

技术领域

[0001]本发明涉及面向自然语言处理的预训练领域，具体提供一种医学文本词向量化方

法。

背景技术

[0002]医疗健康大数据促进医疗数据挖掘和知识发现的研究，不同数据源的异构数据量巨大。在医疗数据领域内，可以明显感到医疗数据集的特征为数据异构，即因为医疗检测手段的关系，数据图像化比例