面向肝细胞癌微血管侵犯评估的高效多模态贡献度感知网络研究.pdfVIP

第6期电子学报Vol.52No.6

2024年6月ACTAELECTRONICASINICAJun.2024

面向肝细胞癌微血管侵犯评估的高效多模态

贡献度感知网络研究

1，2，31，2，31444

贾熹滨，于高远，王珞，邓玉辉，杨大为，杨正汉

（1.北京工业大学信息学部，北京100124；2.多媒体与智能软件技术北京市重点实验室（北京工业大学），北京100124；

3.北京人工智能研究院（北京工业大学），北京100124；4.首都医科大学附属北京友谊医院放射科，北京100050）

摘要：微血管侵犯（MicroVascularInvasion，MVI）是肝细胞癌（HepatoCellularCarcinoma，HCC）切除或移植患者

出现早期复发和长期预后不良的重要影响因素，因此在HCC患者术前评估是否存在MVI具有非常重要的临床价值.

近年来，深度学习为MVI影像诊断评估提供了有价值的解决方法，但受数据标注收集困难等因素的影响，目前研究多

独立利用电子计算机断层扫描（ComputedTomography，CT）或核磁共振成像（MagneticResonanceImaging，MRI）手段采

集影像中的单模态序列，缺乏对各成像手段中多模态序列的综合应用.在小样本场景下，为有效利用多模态序列数

据，提高诊断效能，本文提出一种高效多模态贡献度感知网络.该网络可以利用模态分组卷积和高效多模态自适应加

权模块，在极少计算开销的引入下，学习CT或MRI的各模态影像信息在复杂多样的MVI表象下的诊断贡献.本文在

三甲医院收集的临床数据集上进行实验，结果表明该网络模型可以在少量有标注数据的支持下，取得优于多种基于注

意力机制的神经网络模型的MVI诊断性能，为专业医师的诊断分析提供了有效参考.

关键词：微血管侵犯评估；多模态融合；高效多模态贡献度感知；模态分组卷积；高效多模态自适应加权

基金项目：国家自然科学基金（No，No，No），北京市医管中心青苗人才项目

（No.QM）

中图分类号：TP18文献标识码：A文章编号：0372-2112(2024)06-2053-14

电子学报URL:http://www.DOI:10.12263/DZXB

EfficientMultimodalContributionAwareNetworkforAssessmentof

MicrovascularInvasioninHepatocellularCarcinoma

1,2,31,2,31444

JIAXi-bin,YUGao-yuan,WANGLuo,DENGYu-hui,YANGDa-wei,YANGZheng-han

（1.