CN114661933B 基于胎儿先心病超声图像—诊断报告的跨模态检索方法 （萍乡市萍宣再生资源有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114661933B(45)授权公告日2025.01.10

(21)申请号202210220551.3

(22)申请日2022.03.08

(65)同一申请的已公布的文献号申请公布号CN114661933A

(43)申请公布日2022.06.24

(73)专利权人萍乡市萍宣再生资源有限公司地址337000江西省萍乡市芦溪县宣风镇

珠亭工业小区

(72)发明人曾宪华王鼎杰

(74)专利代理机构北京鼎德宝专利代理事务所(特殊普通合伙)11823

专利代理师马冠群

(51)Int.CI.

GO6F16/583(2019.01)

GO6F16/532(2019.01)

GO6F40/289(2020.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

(56)对比文件

王鼎杰.面向医学影像的深度跨模态检索方法研究.《万方数据》.2023,1-79.

审查员王玮

权利要求书2页说明书5页附图2页

(54)发明名称

基于胎儿先心病超声图像一诊断报告的跨模态检索方法

(57)摘要

CN114661933B本发明公开了基于胎儿先心病超声图像一诊断报告的跨模态检索方法，包括：对跨模态胎儿先天性心脏病的超声图像文本数据集进行预处理；训练时利用特征提取网络，提取图像特征、文本特征和语义特征；将各模态的特征输入参数共享的跨模态注意力层，得到具有语义关联信息的各模态的特征；将图像特征和文本特征分别同语义特征计算对比中心损失；将特征向量输入参数共享的标签预测层，生成预测标签后，计算标签预测损失；检索时利用训练好的最优模型将数据库中的多模态数据生成低维特征；对于查询数据，首先生成低维特征，然后计算它与其它模态特征的相似度；按相似度进行排序，返回满足条

CN114661933B

CN114661933B权利要求书1/2页

2

1.基于胎儿先心病超声图像一诊断报告的跨模态检索方法，其特征在于，包括以下步

骤：

1)对跨模态超声图像文本数据集进行预处理，利用分词工具对医学文本进行分词，然后通过词袋模型训练词向量，将标签信息转化为one-hot向量，跨模态医学数据集中的每一例样本包括超声图像文本对及其对应的one-hot向量；

2)设置一模型，该模型包括图像特征提取网络、文本特征提取网络、语义特征提取网络、跨模态注意力模块、标签预测层、损失函数；

跨模态注意力模块的输出为：H(v)=(1+M:(v))v′,H(t)=(1+M:(t))·t′,H(s)=(1+

M:(s))·s′,其中v,t′,s分别表示特征提取网络提取的中间层图像、文本和语义特征，M:

(v)、M(t)、M(s)代表跨模态注意力模块中学习到的特征权重，H(v)、H(t)、H(s)分别代表恒等映射后的图像、文本和语义特征；

3)模型训练：利用特征提取网络，提取图像特征、文本特征和语义特征；将图像文本对以及代表语义标签的one-hot向量分别输入对应的特征提取网络，得到中间层的图像特征、文本特征和语义特征；将中间层的特征输入到跨模态注意力层，通过全连接层和Sigmoid激活函数学习到特征权重后各模态特征相乘，得到各模态的注意力特征，然后作恒等映射之后将各模态特征输入一个参数共享的全连接层，最终的特征向量输出到一个公共的特征空间；将得到的图像特征和文本特征分别同语义特征计算对比中心损失；将各模态的特征输入参数共享的标签预测层，生成预测标签后，分别与真实标签计算标签预测损失；利用特征空间中的对比中心损失和标签空间中的标签预测损失更新模型参数；当模型参数收敛时，保存最优的模型；

计算语义特征中心μ,然后计算跨模态对比中心损失L1,将各模态的特征输入标签预测层，得到预测标签Y、Y?、Ys,然后同真实标签向量Y计算标签预测损失L2,结合L1和L2,同时在标签空间和语义空间添加约束，得到目标函数为：L=L1+aL2,a为超参数；

所述跨模态对比中心损失L1计算公式如下：

其中表示第j个类别的语义特征中心，u?表示第z个类别的语义特征中心，v、t;分别表示低维公共特征空间中的图像特征表示和文本特征表示，n?表示小批量中的训练样本数，c表示语义类别的数量，y;;=1表示