人工智能在皮肤科的应用与思考.pptx

人工智能在皮肤科的应用与思考推进互联网+ 智慧医疗人工智能成为研究热点2017年2月《Nature》发表斯坦福大学《深度学习对皮肤癌分类达皮肤科医师水平》3AI“来势汹汹”4皮肤是人体最浅表和复杂的器官皮肤疾病> 2000种5皮肤疾病包括肿瘤色素异常性疾病损容性疾病炎症性、感染性疾病遗传性疾病，等等6皮肤病诊断临床表现皮肤镜高频超声组织病理天疱疮血清学检查免疫荧光7治疗药物光化学疗法, PUVA光动力, PDT激光化学剥脱手术等等8结果一：三分类和九分类任务模型 VS. 两位皮肤科医师三分类任务：0.良性肿瘤1.恶性肿瘤2.非肿瘤九分类任务：0.皮肤淋巴瘤和皮肤浸润性疾病1.真皮良性肿瘤、囊肿2.真皮恶性肿瘤3.表皮良性肿瘤4.表皮恶性肿瘤和癌前期病变5.遗传性皮肤病6.炎症性皮肤病7.良性黑素细胞性肿瘤8.恶性黑素细胞性肿瘤结果二：良恶性二分类任务模型 VS. 皮肤科医师1.角质形成细胞肿瘤：65张恶性肿瘤70张良性肿瘤；2.黑素细胞来源肿瘤：临床照片：65张恶黑和70张良性痣皮肤镜图片：71张恶黑和40张良性痣亮 点数据量大：13万张图片深度学习实现多分类结果与医生进行比较PART1本课题组人工智能研究-北京协和医院皮肤科门诊每年30～40万患者-仅有30位医生在国内较早开展皮肤影像工作率先成立皮肤影像诊断中心皮肤高频超声 皮肤多普勒超声皮肤镜服务器16协和皮肤影像资源库临床图片皮肤镜皮肤超声皮肤病理20余年的积累30余万张高质量图片172016年开始进行AI研发工作合作团队: 北京航空航天大学 谢凤英教授 课题组。北大医疗：课题组。 美国德州大学休斯顿生物医学信息学院 陶萃教授 课题组18典型色素痣和SK皮肤镜图像示例CNN自动分类模型示意图构建 CNN 二分类模型：使用3015幅色素痣和2079幅SK的皮肤镜图像对 ResNet-50采用迁移学习进行训练得到模型：将一个待分类皮损图像输入到训练好的卷积神经网络，即可预测出皮损类别各部分细节及参数模型整体部分2017协和皮肤影像诊断学习班人工智能与100余位皮肤科医师对决皮肤科医师总准确率 84.47%AI准确率 88.33%21错误分类图像分析CNN 错误分类图像：7例均为 SK 错误分类为色素痣CNN错误分类图像被分为三类皮肤科医师错误诊断率排名前10(误诊 率为 32.6%~71.6%)图像：2例为SK错误诊断为色素痣其余8例为色素痣错误诊断为SK第二类:具有典型特征，但存在干扰因素，如毛发的干扰、光线、角度等使特征不易识别第三类:具有典型特征，22尚找不到错误分类原因第一类:特殊类型2018年7月发表于《中华皮肤科杂志》多分类人工智能模型6种常见疾病的分类混淆矩阵图：色素痣为86%，而BCC的准确率仅为38%具体设计为：对改进的ResNet-50采用迁移学习进行训练，用得到的模型进行分类真 实 标 签0:色素痣1:SK2:银屑病3:脂溢性皮炎4:湿疹5:BCC数据集：共使用6种常见疾病的皮肤镜图像11,566张预测标签合作单位：北京航空航天大学宇航学院图像中心投稿于2017 IEEEInternationalConference on Imaging Systems and Techniques (IST)，已发表The IEEE BIBM 2017会议发言投稿于BIBM SEPDA 2017，已发表AI关键技术--模型可视化1.点越黑代表对结果的影响越大2.皮损与像素点关联性很大直观评价AI诊断的可靠性：是否位于病变部位显著图遮挡试验还有，热点图、t分布随机邻域嵌入 （ t-distributed Stochastic Neighbor Embedding ，t-SNE）等…网络感兴趣区域可视化结果--热点图深度学习到底在关注皮损的哪 一部分区域？根据学习得到的网络参数求算 出heatmap，结果：大部分 图像关注的区域是皮损区域最有趣的一点是，只提供了类别信息，没有显式的给网络提 供区域信息，但网络却从样本(a) Heatmap(b) 原图中自发习得了这部分信息网络感兴趣的区域大部分是应该感兴趣 的区域，即便有时有毛发的干扰部分图像关注区域不正确。当网络关注 区域比较准的时候，分类正确率也比较 高；当网络关注区域不太准的时候，正 确率相对低把heatmap图和原图叠加后的结果PART2皮肤病AI成为非常活跃的领域30国际论文一：使用深度学习算法对良恶性肿瘤的临床图像的分类研究（ Journal of Investigative Dermatology ，2018）研究包括12种疾病：基底细胞癌鳞状细胞癌表皮内癌光化性角化病脂溢性角化病恶性黑色素瘤黑素细胞痣雀斑样痣化脓性肉芽肿血管瘤皮肤纤维瘤疣Han S S, Kim M S, Lim W, et al.