融合多视图特征的放射学报告生成.pdfVIP

3202025，61（10）ComputerEngineeringandApplications计算机工程与应用

融合多视图特征的放射学报告生成

+

欧佳乐，昝红英，张坤丽，师相龙，马玉团

郑州大学计算机与人工智能学院，郑州450001

+通信作者E-mail：iehyzan@

摘要：放射学报告生成涉及从多源图像中提取特征并将其转化为文本描述。当前的研究面临着多视图和不同长

度报告的挑战，导致生成的临床报告准确性不足和语义不连贯。针对这些问题，提出了一种融合多视图特征的方

法，通过从原始图像中进行多次局部特征提取和细粒度融合减少了信息丢失。通过标注工具获得并嵌入全局上下

文表示，让模型在训练时使用更具概括性的文本，以获得更为流畅的描述。在IUX-Ray和MIMIC-CXR两个数据集

上的实验表明，该方法在R2Gen模型上的应用使生成报告的质量得分平均提升了2.96个百分点。此外在自行构建

的中文肺部CT报告数据集上进行了影像报告到诊断结论的生成实验，表现了该方法的通用性。

关键词：放射学报告生成；多视图；细粒度融合；全局上下文

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2402-0218

RadiologyReportGenerationIntegratingMulti-ViewFeatures

+

OUJiale,ZANHongying,ZHANGKunli,SHIXianglong,MAYutuan

SchoolofComputerandArtificialIntelligence,ZhengzhouUniversity,Zhengzhou450001,China

Abstract：Radiologyreportgenerationinvolvesextractingfeaturesfrommultiplesourceimagesandconvertingtheminto

textualdescriptions.Thecurrentresearchfaceschallengesrelatedtomultipleviewsandvaryingreportlengths,resulting

ininsufficientaccuracyandsemanticincoherenceinthegeneratedclinicalreports.Toaddresstheseissues,amethodthat

integratesfeaturesfrommultipleviewsisproposed,reducinginformationlossthroughmultiplelocalfeatureextractions

andfine-grainedfusionfromoriginalimages.Globalcontextrepresentationisobtainedandembeddedbyusingannota-

tiontools,allowingthemodeltousemorecomprehensivetextduringtrainingforsmootherdescriptions.Experimentson

IUX-RayandMIMIC-CXRdatasetsshowanaverageimprovementof2.96percentagepointsinreportqualityscores

withtheapplicationofthismethodontheR2Genmodel.Furthermore,experimentsonaself-constructedChineselungCT

reportdatasetforimagereporttodiagnosticconclusiongenerationdemonstratethegeneralityofthepropose