融合卷积神经网络和Transformer的皮肤镜图像分割应用研究.pdf

摘要

(

皮肤癌是最普遍的癌症类型之一，早期皮肤癌的治愈率可以达到90%以上，

因此，及早发现并治疗对于降低病情恶化风险至关重要。然而皮肤病变区域存在颜

色复杂多变、边界模糊不清、毛发遮挡严重等情况。面对这些情况，若医生仅根据

自身的经验进行人工诊断，会因为外在的多噪声导致医生产生误判。因此有必要研

究可靠的计算机辅助诊断方法，用来帮助医生更准确地识别和分析皮肤癌病变，其

中基于皮肤镜图像的病变区域的自动化分割方法尤其重要。

传统的分割方法，如基于阈值和区域生长等，虽然在一定程度上能够应用于皮

肤镜图像分割，但其效果有限，难以满足复杂图像分割的精细要求。近年来，基于

深度学习的皮肤镜图像分割方法取得了显著进步，这些方法提升了分割的准确性

和精细度。然而，大部分现有的方法仍面临着病灶边缘分割不理想、难以兼顾图像

局部和全局信息等问题。为了克服这些局限，本文结合卷积神经网络和Transformer，

针对皮肤镜图像分割方法开展研究。本文主要研究内容如下：

（1）提出了一种基于双编码器单解码器网络的皮肤镜图像分割方法CTDS-

Net。该模型整体采用U型结构，双分支编码器部分采用卷积分支和Transformer

分支，它们各自捕获图像的不同特征。然后通过双分支融合模块将不同分支的特征

进行融合，该模块有效地将来自卷积神经网络和Transformer的特征进行加权融合，

实现了局部和全局信息的综合利用。同时采用多尺度融合注意力模块将上采样阶

段得到的不同尺寸的特征进行融合。为缓解梯度消失问题，在跳过连接处加入门控

机制使得模型训练更加稳定，从而实现更加精确和鲁棒的分割效果。

（2）在CTDS-Net基础上，为了缓解Transformer带来的参数量问题，设计了

一个新的皮肤镜图像分割模型IMSA-Net。IMSA-Net结合了内卷算子和多尺度注

意力等机制。编码器部分使用内卷算子替代原本的卷积操作，实现内卷算子与分组

Transformer融合注意力模块相结合的设计，更好地捕获图像的局部信息和远距离

依赖信息，采用分组的形式有效地缓解了自注意力机制带来的参数量问题，进一步

提高了模型的运算效率。由于皮肤镜图像中存在不同大小的病灶区域，仅仅依赖单

一尺度的特征难以实现对这些复杂病灶区域的精确分割，因而在跳过连接处使用

改进的多尺度注意力模块，用来更好地融合来自不同阶段的不同尺度的特征信息。

（3）为了全面评估CDTS-Net和IMSA-Net模型的性能，从DICE、平均交并

比、准确度、敏感度以及特异度五个评估指标进行了深度分析。CDTS-Net和IMSA-

I

西北师范大学硕士学位论文

Net模型分别在皮肤镜图像标准数据集ISIC-2017上验证了模型的分割性能。通过

在ISIC-2107数据集上训练，并在ISIC-2018、PH2数据集上验证与测试，证明了

两个模型在跨越不同数据集的稳定性。此外，为了进一步验证模型的泛化能力，在

CVC-ClinicDB和Kvasir-SEG两个肠息肉数据集上进行了实验，并对实验的结果进

行了可视化的展示。通过这些实验和评估，证明了这两个模型的稳定性和泛化性。

!#：皮肤镜图像分割；卷积神经网络；Transformer；注意力机制

II