YY_T 1858-2022CN 人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法.docx

ICS CCS 11.040.99 C 30/49 中 华 人 民 共 和 国 医 药 行 业 标 准 YY/T 1858—2022 人工智能医疗器械 肺部影像辅助 分析软件 算法性能测试方法 Artificial intelligence medical device—Computer assisted analysis software for pulmonary images—Algorithm performance test methods 2022-08-17发布 2023-09-01 实施 国家药品监督管理局 发 布 I YY/T 1858—2022 目 次 前言 Ⅲ 引言 IV 1 范 围 1 2 规范性引用文件 1 3 术语和定义 1 4 测试要求 2 5 算法性能测试方法 5 附录 A(资料性) 胸部CT肺结节测试集描述样例 15 附录 B(资料性) 测试指标及统计分析的一般思路 19 参考文献 24 Ⅲ YY/T 1858—2022 前 言 本文件按照 GB/T1.1—2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由国家药品监督管理局提出。 本文件由人工智能医疗器械标准化技术归口单位归口。 本文件起草单位：中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评中心、上海长 征医院、中国人民解放军总医院、浙江大学、北京大学、中国科学技术大学苏州高等研究院、中国科学院 自动化研究所、辽宁省医疗器械检验检测院、河南省医疗器械检验所、中国生物医学工程学会、上海联影 智能医疗科技有限公司、飞利浦(中国)投资有限公司、上海西门子医疗器械有限公司、通用电气医疗系 统贸易发展(上海)有限公司、推想医疗科技股份有限公司、北京深睿博联科技有限责任公司、腾讯医疗 健康(深圳)有限公司、广州柏视医疗科技有限公司、北京安德医智科技有限公司、慧影医疗科技(北京) 有限公司。 本文件主要起草人：李佳戈、张宇晶、刘士远、何昆仑、田捷、周少华、周晓华、吴健、萧毅、刘凯、 李静莉、孟祥峰、李非、王晶、万遂人、詹翊强、陆遥、李澍、郭华源、王少康、乔昕、柴象飞、钱天翼、葛鑫、 费震宇、秦川、颜子夜、郝烨、范丽、张龙达、张培芳、张楠、刘畅、王浩。 IV YY/T 1858—2022 引 言 人工智能算法在肺部影像辅助分析软件当中的应用较多，对产品的有效性与安全性影响较大。算 法性能测试是产品质量评价的重要环节。本文件作为方法标准，面向辅助诊断、辅助检测等常见场 景，对算法性能指标的定义、计算方式、测试过程进行规范，旨在加强相关产品的质量评价。 1 YY/T 1858—2022 人工智能医疗器械 肺部影像辅助 分析软件 算法性能测试方法 1 范围 本文件规定了采用人工智能技术的肺部影像辅助分析软件的算法性能测试方法。 本文件适用于采用人工智能技术对肺部影像进行后处理的辅助分析软件。 本文件不适用于影像前处理及过程优化。 注：本文件为检测方法标准，不对任何功能做要求。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文 件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于 本文件。 YY/T1833.1 人工智能医疗器械 质量要求和评价 第1部分：术语 YY/T 1833.2 人工智能医疗器械 质量要求和评价 第2部分：数据集通用要求 3 术语和定义 YY/T1833.1、YY/T 1833.2界定的以及下列术语和定义适用于本文件。 3.1 通过准则 pass criteria 判断一个软件项或算法功能的测试是否通过的判别依据。 [来源：GB/T 9386—2008,3.2,有修改] 3.2 测试计划 test plan 描述预定测试活动的范围、方法、资源和进度的一种文档。它确定测试项、要测试的特征、测试任 务、执行每一任务的人员以及需要应急对策的任何风险。 [来源：GB/T 9386—2008,3.13] 3.3 基线扫描 baseline scan 患者接受的首次影像扫描。 3.4 随访扫描 follow-up scan 患者在随访阶段接受的影像扫描。 3.5 重复筛查 repeat screening 以一定周期进行的多次筛查。 2 YY/T 1858—2022 3.6 征象 sign 在进行身体检查或病理检查时，通常可由客观测度得到的、能够提供医疗进展及疾病状况的迹象及 指标。 3.