人工智能标准-数据集-41页.pptxVIP

人工智能医疗器械标准化进展：数据集通用要求

;

?什么是标准数据集？-格式

-元数据

-质量规范

?为什么需要标准数据集？

-科学性

-权威性

-可比性

-可解释性;

卫生健康领域现有数据集标准;

?GB/T25000.24-2017系统与软件工程系统与软件质量要求和评价（SQuaRE）第24部分：数据质量测量

?GB/T25000.12-2017系统与软件工程系统与软件质量要求和评价（SQuaRE）第12部分：数据质量模型

?GB/T39725-2020信息安全技术健康医疗数据安全指南

?GB/T36344-2018信息技术数据质量评价指标

?GB/T33453-2016基础地理信息数据库建设规范

?GB/T33674-2017气象数据集核心元数据

?GB/T39662-2020基金行业数据集中备份接口规范;

标准现状;

?人工智能医疗器械标准化技术归口单位

-国家药监局关于成立人工智能等3个医疗器械标准化技术归口单位的公告(2019年第82号)

-中国食品药品检定研究院为秘书处承担单位

-组织分工

?术语分类编码

?数据标注与数据质量

?软件特性与网络安全

?产品质量评价

?质量管理

-工作依据

?医疗器械标准管理办法

?医疗器械标准制修订工作规范;

蓝色：起草/报批绿色：预研阶段;

?贯穿产品全生命周期-研发

-上市前

-上市后;

退役

更新

维护使用;

?数据

-CT图像不连续

-噪声过大

-与公开数据集重复

?数据集描述

-来源不清晰

-入组条件不明确

-缺乏统计信息?记录

-不完整；前后矛盾;

?国内：基础标准?国际：管理标准;

?目的

-本标准旨在建立人工智能医疗器械全生命周期各个环节使用的数据集的质量要求和评价规范，明确数据集的质量评价方法。

?意义

-本标准的实施有助于保障人工智能医疗器械所需的数据集整体质量，规范人工智能医疗器械企业的数据管理活动，促进数据资源的科学有序开发，推动人工智能医疗器械产业健康发展。;

?范围

-本文件描述了人工智能医疗器械全生命周期使用的数据集的通用质量要求和评价方法

-适用于研发、生产、测试、日常质控等环节、对人工智能医疗器械质量有直接影响的数据集开发与评价

?主要技术内容

-数据集文档描述的基本内容和要求

-数据集的质量特性

-数据集的质量评价方法;

?数据集类型

-按照预期用途：模型训练、模型验证、性能独立测试、临床评价、产品质控等类型

-按照数据来源：公有数据集、私有数据集

-按照用户类型：自用数据集、他用数据集

-按照访问管理方式：开放数据集、封闭数据集

-按照更新形式：静态数据集和动态数据集;

?基本信息

-数据形态、特征层次、适用场景

-数据采集、多样性、入排标准

-数据标注、参考标准、数据存储

-用户访问控制、更新管理

-标识、命名、编码;

数据价值维度

?准确性

?完备性

?唯一性

?一致性

?确实性

?时效性?精度

?代表性;

?字面含义是指样本符合真值的程度

-“真值”在不同的情境下存在多种含义

?成像部位的生理解剖结果、临床诊断的金标准等

?医院本地的原始数据、记录、患者原始的口述等

?符合临床规范或专家共识的标注结果、参考标准;

验证内容;

?完备性：数据集包含的信息能覆盖数据集的预期用途

-以训练集为例，肺结节训练数据集应包含支持产品训练、满足临床适用场景需要的信息

?结节类型、位置、边界、长短径，成像设备型号、设备厂家、管电压、管电流、剂量等

?伦理批准使用的非敏感信息，例如受试者年龄、性别、良恶性分类、病理亚型分类、基因突变、预后等;

?同一数据集内的数据元应是唯一的

-对应数据查重

-例外情形：同一患者不同时间的数据;

?数据、元数据的真实可信-举例

?在人的数据中错误混入动物试验数据

?DICOM记录CT成像剂量的参数异常;

?时效性：数据的采集、标注、流转、归档、变更等活动应遵从明确的时限

-数据的实际采集时间是什么时候？

-数据的标注用了多久？;

验证