基于外部知识与视觉记忆的医学报告生成方法研究.pdf

基于外部知识与视觉记忆的医学报告生成方法研究

摘要

医学报告是对医学影像（如PET/CT扫描影像或放射学图像）中呈现的医学信息的

文字性描述，其中包括对不同身体器官的形态、有无病变的详细描述和放射科医生根据

医学影像信息做出的临床病情诊断。因此，医学报告在对疾病的诊断和患者的治疗中发

挥着重要的作用。深度学习（DeepLearning，DL）在计算机视觉（ComputerVision，CV）

和自然语言处理（NatureLanguageProcessing，NLP）等研究领域的飞速发展使得智能医

疗日益成为一个重要的应用研究领域，医学报告生成任务已成为智能医疗领域内一个紧

迫而有吸引力的研究方向。医学报告生成任务的主要目的是通过人工智能方法自动生成

与给定医学影像相对应的医学报告。这项任务不仅大大减少了放射科医生的工作量，而

且可以帮助患者及时获得治疗。然而当前针对该任务的研究仍存在诸多难点,为了解决

这些问题，本文通过对现有医学报告生成任务的方法进行研究与分析，构建了一种新颖

的医学报告生成方法，本文的主要研究工作概括如下：

（1）由于医学影像的图像语义特征与医学报告的文本语义特征之间存在巨大差异，

导致生成的医学报告的专业性和准确性无法得到保证；此外，诸多现有的方法在特征提

取阶段没有充分利用不同医学影像间存在的相似视觉特征，导致无法准确捕获和学习影

像中的医学信息。对此本文提出了一种基于外部知识和视觉记忆的医学报告生成方法并

将其命名为VMEKNet（VisualMemoryandExternalKnowledgeBasedNetworkforMedical

ReportGeneration）。具体来说，本文提出了两个新的模块并将它们引入医学报告生成任

务中广泛使用的编码器-解码器（Encoder-Decoder）框架中。其中，TF-IDF特征嵌入模

块（TF-IDFImbeddingmodule，TIE）通过TF-IDF算法将外部知识（文本的TF-IDF语

义特征）整合到特征提取阶段，视觉记忆模块（VisualMemorymodule，VIM）充分利用

以往的图像特征，帮助模型提取更准确的医学影像特征。在此之后，使用一个标准的

Transformer模型处理图像特征和文本特征来生成完整的医学报告。

（2）当前医学报告生成任务的常用数据集中正常样本与异常样本的数量差距过大，

导致模型无法充分学习异常样本、生成异常医学报告的能力较弱，这一点也是阻碍医学

报告生成任务研究的重要因素。针对上述问题，本文结合对比学习（ContrastiveLearning，

CL）思想提出了医学报告生成的优化方法。首先，本文提出结合对比学习的视觉特征提

取模块，之后该模块与前文提出的医学报告生成模型VMEKNet共同构成医学报告生成

优化方法的模型（ContrastiveLearningbasedVMEKNet，CL-VMEKNet），以进一步优化

哈尔滨工程大学硕士学位论文

与提高医学报告生成模型的性能。

为验证本文提出方法的有效性，在医学报告生成任务的常用数据集IUX-Ray上设

计完成定量、定性以及消融实验并对实验结果进行分析。实验结果表明，本文提出的医

学报告生成方法在自然语言生成评价指标和实际临床诊断方面的表现都优于以往工作，

在医学报告生成任务上表现出了更加优越的性能，具有一定的临床应用价值。

关键词：医学报告生成；Transformer模型；TF-IDF算法；视觉记忆网络；对比学习

基于外部知识与视觉记忆的医学报告生成方法研究

Abstract

Amedicalreportisatextualdescriptionofthemedicalinformationpresentedinmedical

images(suchasPET/CTscanimagesorradiologyimages),includingdetaileddescriptionsof

theshapeofdifferentorgans,theabn