人工智能标准-数据标注-45页.pptxVIP

人工智能医疗器械数据标注标准研讨;

标准介绍;

技术现状;

数据标注需求

l对于监督学习，数据标注是必需的技术服务

lAI算法训练阶段：需要输入带标注的样本

lAI算法测试阶段：需要比较AI的输出与标注结果;

通用数据标注 ;

医学数据标注

?临床专家共识：数据标注与数据集建设联系紧密

?中国食品药品检定研究院、中华放射学分会胸部CT肺结节数据标注与质量控制专家共识(2018)

?同仁医院基于眼底照相的人工智能青光眼辅助筛查系统规范化设计及应用指南

?中国生物医学工程学会尘肺病数据标注规范与质量控制专家共识

?中华放射学分会肝脏局灶性病变CT和MRI标注专家共识（2020）

?上海中医药大学龙华医院长海医院实体瘤病理数据集建设和数据标注质量控制专家意见

?长海医院消化内镜人工智能数据采集与标注质量控制体系专家共识意见(草案2019年)

?国内关注点：标注对象定义、标注流程组织、标注决策过程、人员资质、数据质量要求等;

名称;

智能辅助标注

作为过程工具使用，但其应用场景与医疗器械产品相似;

影响因素;

影响质量的要素 ;

l含义：标注任务的具体目标

l常见问题（What？）

l术语不统一

l表述不清晰

l缺乏验证手段;

标注规则

l含义：产生标注结果的路径

l常见问题（How？Why？）

l确立规则的依据？;

l含义：执行标注任务的人员

l可能包含不同角色，形成梯队

l常见问题（Who？）

l谁可以参加标注？

l标注结果来自谁？;

l含义：开展标注任务的环境

l常见问题（Where？）

l关注对人员、标注工具的影响

l隐含对配套设施、设备的要求;

l含义：对输入（样本）、输出（结果）的要求

l常见问题

l数据的适用范围

l选择依据

l存储格式;

l含义：执行标注任务需要的技术手段

l包含标注软件、标注平台、辅助工具

l常见问题

l功能要求

l安全要求

l算法确认（辅助标注）;

标准介绍;

立项年度;

?范围：本文件规定了人工智能医疗器械研发、测试、质控等过程相关的数据标注通用要求和评价方??;

l1、标注任务的分类

l数据模态：图像、信号、视频等

l执行主体：人工、自动、半自动等

l标注结果的形式：检出、分类、分割等

l标注结果的格式：结构化、非结构化、半结构化

l标注结果的性质：参考标准、金标准等;

标注任务说明文档

l2、标注任务描述

l标注对象

l定义唯一、无歧义、有依从性文件

l可区分、可验证、可测量

l标注规则

l有依据

l包含文献、分析、数据等形式;

标注任务说明文档;

标注任务说明文档

l6、数据

l待标注数据的适用范围、质量要求和选择依据

l标注对象的定义和示例

l标注结果、测量结果的存储、预览

l数据整理方案

l测量方法、装置、条件、人员等

l仿真计算过程及确认方式;

保密性可理解性

可访问性;

准确性;

?精度：

对于可定量描述的标注结果,标注责任方应声称标注结果的精度。;

?可访问性：

?可理解性：

标注责任方应说明标注结果能被授权用户理解的程度,并以书面形式展示可验证的证正据。

?可移植性：;

保密性、可追溯性

?保密性：

标注责任方应陈述确保标注结果安全的措施,并以书面形式展示可验证的证据。

?可追溯性：;

l业务架构

l数据流向、人员分工

l保存记录与结果的节点

l过程组织：

l任务的生成、分配、实施

l质量控制：准确性、重复性

l安全管理：

l待标注数据的脱敏、备份

l任务完成后及时清理

l网络防护;

功能要求

?处理对象

?数据显示

?标注操作

?流程组织

?任务调度、进度显示、审核/仲裁

?过程记录;;

案例讨论1 ;

案例讨论2 ;

标注任务说明文档

?检查文档

标注质量特性

?抽样检验

标注与质控流程

?过程检查

标注工具

?操作验证;

附录A

?标注任务说明示例

附录B

?标注业务架构示例

附录C

?对辅助标注算法的确认;

可穿戴心电信号标注;

附录B ;

对辅助标注算法的确认;

?具体场景

?辅助分类

?辅助检测

?辅助分割

?推理