人工智能医疗器械用数据集管理与评价方法研究.pdfVIP

人工智能医疗器械用数据集管理与评价方法研究 王浩;孟祥峰;王权;任海萍 【摘要】数据集是人工智能(Artificial Intelligence,AI)医疗器械研发、训练、验证、 优化的重要资源,是产业链上游影响产品质量的重要因素.在人工智能医疗器械产业 起步的关键时期,如何规范和引导企业、医院、第三方机构等社会力量建设与管理 数据集,关系到行业的长远健康发展与持久繁荣,关系到人工智能医疗器械产品的有 效性、安全性和风险性,也关系到我国海量医学数据红利能否释放.国内外对于人工 智能医疗器械用数据集的管理与评价尚未建立专业标准,缺乏专用的可操作的方法 体系.本文结合数据集建设实践经验,对人工智能医疗器械用数据集管理与评价策略 提出具体的建议,从医疗器械质量评价与生产质量管理体系的视角明确具体的工作 流程与方法要求, 旨在帮助行业加强对数据集质量管理的重视,通过对其质量管理体 系的科学管理,确保和提升人工智能医疗器械产品质量. 【期刊名称】《中国医疗设备》 【年(卷),期】2018(033)012 【总页数】5 页(P1-5) 【关键词】人工智能医疗器械;数据集;质量体系;数据治理 【作者】王浩;孟祥峰;王权;任海萍 【作者单位】中国食品药品检定研究院光机电室,北京 100050;中国食品药品检定 研究院光机电室,北京 100050;中国食品药品检定研究院光机电室,北京 100050;中 国食品药品检定研究院光机电室,北京 100050 【正文语种】中 文 【中图分类】TP181;TH772;TH776 引言 近年来，在计算科学与半导体工艺高速发展的推动下，人工智能技术在医疗器械领 域取得一系列重要学术成果[1-12] ，加速推动人工智能医疗器械产业的发展。我国 也有大批产品进入技术转化和准备注册上市的阶段，而产品评价与监管目前尚无国 际和国内标准，其中急需研究的问题之一，是数据集的质量评价与管理。 人工智能医疗器械较多采用监督学习的算法设计，产品的全生命周期都离不开高质 量带标注的医学数据集。在研发阶段，研发人员从训练集中提取特征，形成算法模 型。在验证阶段，研发人员使用另一部分数据 （验证集 ）对算法模型进行验证、迭 代和优化，形成终产品。在产品评价阶段，参考国外监管机构（例如美国食品药品 监督管理局）的经验，产品的性能评价需要在封闭测试集上进行。产品上市后 ，其 部署与运行的验证与确认、产品再评价等活动也依托数据开展测试。简而言之，数 据集扮演着原材料、质控品等多种关键角色 ，其质量对于产品质量有重要影响。 目前，业内对于数据集的需求旺盛 ，随着产品预期用途不断增加，对数据集在病种、 数据格式、标注细节、规模等方面的要求也越来越复杂 ，缺口很大，由少数机构开 展数据集建设无法及时满足行业需求 ，有必要鼓励全社会力量开发数据集，包括用 于研发的公开训练集、用于监管的标准测试集或第三方测评数据集等 ，也符合国外 呼吁大规模开发数据以服务监管的潮流[13]。在这种背景下，数据集的质量管理需 要建立统一的标准和规范 ，指导参与数据集建设的各方力量共同提高数据质量，化 解风险 ，最终保障产品的有效性与安全性。 人工智能医疗器械用数据集的质量管理需要依托体系进行 ，有待细化明确 ，缺乏标 准。它一方面可以借鉴信息技术领域数据治理[14-16]的宏观框架与思路，但医疗 器械行业的特殊性需要具体体现；另一方面，原国家食品药品监督管理总局在 2016 年发布了《临床试验数据管理工作技术指南》《医疗器械临床试验质量管理 规范》两个重要文件，也具有一定的参考价值，但不完全体现人工智能产品对数据 集的专有要求。 在结合检验用标准测试集的建设经验基础上，本文提出了一套人工智能医疗器械用 数据集管理与评价设计具体方案，以帮助明确数据集质量管理体系的建设，促进人 工智能医疗器械用数据集发展的规范化，推动行业有序发掘医学数据资源 ，更好地 辅助对人工智能医疗器械的质量监管。 1 人工智能医疗器械用数据集的常见质量问题 一般来说 ，数据集相关活动包含五个主要阶段：数据集设计、数据收集、数据标注、 数据归档、数据管理。在不同阶段 ，质量问题的表现形式不同。 1.1 数据集设计 数据集的设计工作一般包含预期代表的患者群体、场景、人数、病种比例、数据来 源等基本内容的确定。数据集设计阶段的主要质量风险有以下几种。 （1 ）数据偏倚。数据集在统计意义上出现偏倚 ，不能充分覆盖产品预期临床使用 的各种多样性因素。例如 ，当数据集中的患者病例太低 ，健康人比例太高 ，就会导 致抽样偏倚 ，结果是产品训练中学习的患者特