三模态医学图像融合关键技术研究.pdfVIP

摘要

随着人工智能的发展，出现了不同医疗成像设备。而由于医学成像设备的局

限性，单一模态医学图像仅能展现器官或组织的某一特定方面。为此，医生需要

对患者同一部位的病灶对照不同模态图像反复观察，导致较低的诊断效率。为解

决该问题，医学图像融合技术应运而生。该技术集成多个单模态医学图像的有用

信息，生成一幅信息表达更全面的融合图像，以提高临床诊断准确性。然而，现

有医学图像融合多聚焦于两模态融合问题，对三模态医学图像融合的研究仍是空

白。实际上，三模态比两模态医学图像融合能捕获更多跨模态信息。此外，受成

像设备的限制，源图像易受噪声及低分辨率干扰，使现有技术无法在受干扰的情

况发挥性能。因此，研究三模态医学图像融合对临床医疗辅助具有重要意义。国

内外医疗领域已出现两模态医学图像融合仪，对多模态图像融合技术存在迫切需

求。若能将三模态技术应用于医疗图像融合仪中，将极大推动医疗辅助的智能化

进程，帮助医生全面了解病变情况，制定科学合理的治疗计划。以上背景下，本

文针对无干扰、受噪声干扰、分辨率受限的三模态医学图像融合问题进行深入研

究，并设计了一种三模态医学图像融合辅助诊断系统。

本文主要贡献如下：

(1)首次提出基于自适应能量选择和稀疏表示的三模态医学图像融合方法。

引入滚动引导滤波实现图像“卡通-纹理”分解，分别设计自适应能量选择和基

于稀疏表示的规则融合卡通、纹理成分。将融合后的卡通、纹理层重构得到的中

间融合结果，与第三张医学图像重复上述步骤可得融合结果。

(2)提出基于双调滤波的三模态医学图像融合与去噪方法。考虑到解剖性图

及功能性融合的差异，设计了专门针对这两种类型图像的融合模型。对前者设计

了基于三层分解的解剖性医学图像融合模型，而对后者设计了基于双调滤波的功

能性医学图像融合模型。结合两个模型可以得到最终不受噪声干扰的融合图像。

(3)提出了基于条件扩散概率模型的三模态医学图像融合和超分辨率模型，

通过迭代去噪过程端到端地实现融合和超分辨率任务。同时，利用通道注意力模

块整合不同模态图像的关键信息。与现有方法相比，它更专注于不同模态特征的

域自适应性和交叉模态特征提取，生成具有高保真细节的三通道彩色融合图像。

(4)设计并实现了可供用户自主选择融合方法的三模态医学图像融合辅助诊断

系统，包括图像导入、图像融合、结果展示和数据处理四个关键模块。全面的系

统测试验证了该系统的稳定、可靠性，为医生提供准确的诊断信息。

关键词：三模态医学图像融合；滚动引导滤波；稀疏表示；扩散概率模型；图像

去噪；图像超分辨率

ABSTRACT

Withthedevelopmentofartificialintelligence,variousmedicalimagingdeviceshave

emerged.However,duetothelimitationsofmedicalimagingequipment,asinglemodality

medicalimagecanonlyshowaspecificaspectofanorganortissue.Therefore,doctorsneedto

repeatedlyobservelesionsofthesamepartindifferentmodalitiesofimages,leadingtolower

diagnosticefficiency.Tosolvethisproblem,medicalimagefusiontechnologyhasemerged.This

technologyintegratesusefulinformationfrommultiplesinglemodalitymedicalimagesto

generateafusedimagewithamorecomprehensiveinformationrepresentation,thereby

impr