基于多模态特征对齐的医学报告自动生成研究.pdfVIP

基于多模态特征对齐的医学报告自动生成研究

摘要

医学影像报告是对医学影像的文本描述，一般来说，是由专业的放射科医生来提

供，该报告通常是放射科医生和患者的转诊医生之间沟通的重要参考方式。但是，面

对数目庞大的患者群体，逐一为每一位患者的影像来撰写报告占据了医生大量的工作

时间，且这部分工作通常是机械性的；而且不同医生之间的经验差异也使得放射学报

告的撰写可能会忽视图像中的某些异常信息，导致患者的病症并不能充分准确的描述。

综上所述，借助人工智能（ArtificialIntelligence，AI）以及深度学习（DeepLearning，

DL）自动，精准，迅速的生成报告，对于提高医院的工作效率以及服务质量，缓解专

业医生重复，机械性的工作起着至关重要的作用，具有重要的实用价值和落地意义。

本文对于现有的医学报告生成方法做出了总结与分析，设计了一种创新的医学报

告生成方法，研究工作如下：

（1）医学报告数据集是由患者的放射学图像及对应报告组成的，过往的工作过分

关注于图像部分，缺乏了对于真实报告信息中丰富的先验知识的提取及利用。本文针

对以往模型不能很好的关注图像特征中真正重要的部分，对于真实报告中丰富的先验

信息利用不充分以及两种模态的特征不能很好的对齐融合等问题，提出了一个基于多

模态特征对齐的医学报告生成模型MFAN（MultimodalFeatureAlignmentNetwork）。

具体来说，本文提出了三个新的模块并将他们应用于目前医学报告生成任务中常用的

骨干网络中。其中，知识蒸馏模块主要提取报告中的先验知识并将其聚类成报告的知

识主题，对比注意力模块主要提取图像特征中真正重要的部分，也就是输入图像特征

与正常图像特征对比后得到的异常部分。多模态特征对齐模块主要负责将两种不同维

度的，不同模态的特征向量来映射到同一特征空间进行对齐，并最终使用对齐后的特

征向量来进行报告生成。

（2）当前医学报告数据集缺乏标注，且常用的图像编码器仅仅使用随机初始化方

式或者在自然领域图像数据集上进行预训练，这样得到的图像编码器提取的图像特征

并不能很好的代表医学图像。为此，本文在对比学习的思想影响下，在医学报告生成

数据集上预训练图像编码器，并替换MFAN网络的图像编码器，同时采用新的多模态

特征对齐方式，提出了一个基于对比学习的多模态特征对齐医学报告生成模型CL-

MFAN（ContrastiveLearningbasedMultimodalFeatureAlignmentNetwork），使得经过对

比注意模块的增强图像特征与文本特征对齐，并使用这两种特征进行自动化报告生成，

哈尔滨工程大学硕士学位论文

以进一步优化医学报告生成任务。

为验证本文提出方法的有效性，在医学报告生成任务的常用数据集IUX-Ray上设

计完成定量、定性以及消融实验并对实验结果进行分析。实验结果表明，本文提出的

医学报告生成方法在自然语言生成评价指标NLG和实际临床诊断方面的表现都优于以

往工作，在医学报告生成任务上表现出了更加优越的性能，具有一定的临床应用价值。

关键词：医学报告生成；多模态；注意力机制；卷积神经网络；对比学习

基于多模态特征对齐的医学报告自动生成研究

ABSTRACT

Medicalimagingreportsaretextualdescriptionsofmedicalimages,ittypicallyprovided

byprofessionalradiologists.Thesereportsserveasimportantreferenceforcommunication

betweenradiologistsandreferringphysicians.However,facedwithalarge