基于文本增强的眼底图像多病种识别方法.pdfVIP

生物医药与生物医学工程

第14卷第1期集成技术Vol.14No.1

2025年1月JOURNALOFINTEGRATIONTECHNOLOGYJan.2025

引文格式：

[J]2025,14(1):78-90.

熊绍奎,陈世峰.基于文本增强的眼底图像多病种识别方法.集成技术,

XiongSK,ChenSF.Multi-diseaserecognitionmethodforfundusimagesbasedontextenhancement[J].Journalof

IntegrationTechnology,2025,14(1):78-90.

基于文本增强的眼底图像多病种识别方法

12*

熊绍奎陈世峰

1(南方科技大学深圳518055)

2(中国科学院深圳先进技术研究院深圳518055)

摘 要 该研究在眼科图像疾病识别中引入了视觉语言模型，提出了一种基于对比语言图像预训练

模型的多疾病识别算法。首先，作者基于多个公开可用的眼底图像数据集构建了一个含有8个类别

的多标签眼底图像数据集MDFCD8；其次，作者利用生成式人工智能GPT-4(GenerativePre-trained

Transformer4)生成描述眼底图像细粒度病理特征的专家知识，解决了眼底图像数据集文本标签缺乏的

F1

问题；最后，作者计算了平均精度、评分和受试者工作特征曲线下面积，并以三者的均值作为最终

的性能评价指标。实验结果表明，与传统的卷积神经网络和Transformer网络相比，作者提出的方法在

性能上分别高出4.8%和3.2%。同时，作者还进行了各模块的消融实验，验证了该方法的有效性，表

明了视觉语言模型在眼科疾病辅助诊断领域的应用潜力。

关键词 眼底图像；多病种；对比语言图像预训练；专家知识

中图分类号 TP391.7；R770.41文献标志码 Adoi:10.12146/j.issn.2095-3135.20240422001

Multi-diseaseRecognitionMethodforFundusImagesBasedon

TextEnhancement

XIONGShaokui1CHENShifeng2*

1(SouthUniversityofScienceandTechnology,Shenzhen518055,China)

2(ShenzhenInstituteofAdvancedTechnology,ChineseAcademyofSciences,Shenzhen518055,China)