CN116342927B 一种基于超声造影视频的乳腺癌影像分类系统及方法 （西南交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116342927B(45)授权公告日2025.07.04

(21)申请号202310028503.9

(22)申请日2023.01.09

(65)同一申请的已公布的文献号申请公布号CN116342927A

(43)申请公布日2023.06.27

(73)专利权人西南交通大学

地址610000四川省成都市二环路北一段

(72)发明人龚勋袁帅

(74)专利代理机构成都东恒知盛知识产权代理事务所(特殊普通合伙)

51304

专利代理师罗江

(51)Int.CI.

GO6V10/764(2022.01)

GO6V10/774(2022.01)

GO6V10/778(2022.01)

GO6V10/40(2022.01)

GO6V10/82(2022.01)

GO6N3/045(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN112002407A,2020.11.27

CN112734696A,2021.04.30

审查员夏冰

权利要求书2页说明书6页附图5页

(54)发明名称

一种基于超声造影视频的乳腺癌影像分类系统及方法

(57)摘要

CN116342927B本发明公开了一种基于超声造影视频的乳腺癌影像分类系统及方法，系统包括：数据采集及预处理模块，光流对齐及数据集构建模块，像素亮度变化曲线生成模块，关注帧权重训练模块，亮度变化曲线特征提取模块，视频图像特征提取模块，特征融合及分类模块。本发明方法首先采用光流对齐的方式将视频中的关键点进行对齐，减少因位移导致的影响，然后将对齐后的超声视频进行逐帧采样，拟合亮度变化曲线，并统计若干关键指标，再利用深度神经网络学习造

CN116342927B

数据采集及预处理模块

数据采集及预处理模块

光流对齐及数据集构建模块

像素亮度变化曲线生成模块

关注帧权重训练模块

亮度变化曲线特征提取模块

视频图像特征提取模块

特征融合及分类模块

基于超声造影视频的乳腺癌影像分类系统

CN116342927B权利要求书1/2页

2

1.一种基于超声造影视频的乳腺癌影像分类系统，其特征在于，所述系统包括：

数据采集及预处理模块：用于采集乳腺超声造影原始数据及数据预处理；

光流对齐及数据集构建模块：用于采用稠密光流对齐法对造影帧图像序列进行对齐，形成抗抖动帧图像序列并构建数据集；

像素亮度变化曲线生成模块：用于将抗抖动帧图像序列按像素点采样，采集每个像素的亮度变化，并将其与对数正态分布曲线进行拟合，生成像素亮度变化曲线；

关注帧权重训练模块：用于将像素亮度变化曲线送入基于Transformer的注意力神经网络进行关注帧权重训练，得到最佳像素亮度变化曲线；

亮度变化曲线特征提取模块：用于根据最佳像素亮度变化曲线，统计亮度变化曲线的亮度达到最大值所对应的帧数、曲线中值对应的帧数、曲线积分面积三个关键指标，得到像素亮度变化曲线特征向量，记为F?;

视频图像特征提取模块：用于利用图像特征进行提取网络获取造影特征，得到造影视频每帧特征向量，记为F2;

特征融合及分类模块：用于将特征向量F?、F?使用concatenate方法对特征进行融合，然后送入已经进行约束后的ResNet18分类神经网络，将神经网络输出添加全连接层，使用Sigmoid函数对每个类型限制在0,1之间，得到分类结果。

2.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：数据采集及预处理模块中，以乳腺超声造影视频为单位，将视频按帧提取形成帧图像序列，并附带活检结果标签；所述数据预处理是将活检结果标签采用独热编码处理，良性[1,0]、恶性[0,1]。

3.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：光流对齐及数据集构建模块中，选取帧图像序列中第一帧作为参考帧，利用图像序列中像素在时间域上的变化以及与参考帧之间的相关性，逐帧计算出与参考帧之间的位移量，将视频中的关键点进行对齐，减少位移影响。

4.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：像素亮度变化曲线生成模块中，所述对数正态分布曲线表达式为：

其中，x为自变量，表示视频帧编号，{0≤x≤n|x∈N},n是像素个数；p(x)