CN114266924B 一种基于多模态的胺区肿瘤图像分类方法及终端设备 （深圳大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114266924B(45)授权公告日2025.07.11

(21)申请号202111593776.5

(22)申请日2021.12.23

(65)同一申请的已公布的文献号申请公布号CN114266924A

(43)申请公布日2022.04.01

(73)专利权人深圳大学

地址518060广东省深圳市南山区南海大

道3688号

GO6T7/00(2017.01)

GO6V10/40(2022.01)

(56)对比文件

CN111612754A,2020.09.01CN112801168A,2021.05.14审查员娄贝贝

(72)发明人雷柏英朱云宋雪刚冯铭

汪天富

(74)专利代理机构深圳市君胜知识产权代理事

务所(普通合伙)44268专利代理师徐凯凯

(51)Int.CI.

GO6V10/764(2022.01)权利要求书3页说明书8页附图3页

(54)发明名称

一种基于多模态的胺区肿瘤图像分类方法及终端设备

(57)摘要

CN1142696924B本发明公开了一种基于多模态的胺区肿瘤图像分类方法及终端设备，其中，方法包括步骤：获取颅内胺区肿瘤患者三个模态的MRI影像；采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态的低频特征和高频特征；基于所述三个模态的低频特征和高频特征以及颅内胺区肿瘤患者的临床信息，通过皮尔森相关系数构建低频特征相似性图和高频特征相似性图；采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征优化，得到三个模态的优化特征；利用多头注意力机制对三个模态的优化特征进行融合，并利用全连接层进行胺区肿瘤图像分类。本发明

CN1142696924B

获取颅内胺区肿瘤患者三个模态的MRI影像，所述三个模态的MRI影像分别为T1加权MRI影像、T2加权MRI影像和增强的T1加权MRI影像

采用加入离散小波变换的3D

Resnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态的低频特征和高频特征

基于所述三个模态的低频特征和高频特征以及颅内胺区肿瘤患者的临床信息，通过皮尔森相关系数构建低频特征相似性图和高频特征相似性图

采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征优化，得到三个模态的优化特征

利用多头注意力机制对三个模态的优化特征进行融合，并利用全连接层进行胺区肿瘤图像分类

S10

S20

S30

S40

S50

CN114266924B权利要求书1/3页

2

1.一种基于多模态的胺区肿瘤图像分类方法，其特征在于，包括步骤：

获取颅内胺区肿瘤患者三个模态的MRI影像，所述三个模态的MRI影像分别为T1加权MRI影像、T2加权MRI影像和增强的T1加权MRI影像；

采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态的低频特征和高频特征；

基于所述三个模态的低频特征和高频特征以及颅内胺区肿瘤患者的临床信息，通过皮尔森相关系数构建低频特征相似性图和高频特征相似性图；

采用多图卷积网络对所述低频特征相似性图和高频特征相似性图进行特征优化，得到三个模态的优化特征；

利用多头注意力机制对三个模态的优化特征进行融合，并利用全连接层进行胺区肿瘤图像分类。

2.根据权利要求1所述基于多模态的胺区肿瘤图像分类方法，其特征在于，所述颅内胺区肿瘤患者三个模态的MRI影像为采用边缘检测方法将头部分割出来的MRI影像。

3.根据权利要求1所述基于多模态的胺区肿瘤图像分类方法，其特征在于，采用加入离散小波变换的3DResnet网络对所述三个模态的MRI影像进行特征提取，获得三个模态的低频特征和高频特征的步骤包括：

采用离散小波变换对三个模态的MRI影像进行分解，得到每个模态的MRI影像对应的8个频率信号，所述8个频率信号包括1个低频信号和7个高频信号；

采用3DResnet对所述8个频率信号进行特征提取，得到三个模态的低频特征和高频特征，所述3DResnet包括依次排列的7x7x7的3D卷积块、批处理规范化归一化层、RELU层、第一通道注意力模块、第一