T_CESA 1026-2018 人工智能 深度学习算法评估规范.docxVIP

ICS35.080L77

AIOSS

中国人工智能开源软件发展联盟标准

AIOSS—01—2018

人工智能深度学习算法评估规范

Artificialintelligence—Assessmentspecificationfordeeplearningalgorithms

2018-07-01发布2018-07-01实施

AIOSS-01-2018

I

目次

前言 III

引言 IV

1范围 1

2术语和定义 1

3评估指标体系 2

3.1评估指标体系表 2

3.2算法功能实现的正确性 4

3.3代码实现的正确性 4

3.4目标函数的影响 4

3.5训练数据集的影响 4

3.6对抗性样本的影响 4

3.7软硬件平台依赖的影响 5

3.8环境数据的影响 5

4评估流程 5

4.1概述 5

4.2确定可靠性目标 6

4.3选择评估指标 7

4.4评估准则 7

4.5各阶段评估 8

4.6评估结论 8

5需求阶段的评估 8

5.1概述 8

5.2前提条件 8

5.3输入 8

5.4关键活动 9

5.5输出 9

6设计阶段的评估 9

6.1概述 9

6.2前提条件 9

6.3输入 9

6.4关键活动 9

6.5输出 10

7实现阶段的评估 10

7.1概述 10

AIOSS-01-2018

II

7.2前提条件 10

7.3输入 10

7.4关键活动 10

7.5输出 11

8运行阶段的评估 11

8.1概述 11

8.2前提条件 11

8.3输入 11

8.4关键活动 11

8.5输出 12

附录A（规范性附录）深度学习算法可靠性评估指标选取规则 13

附录B（资料性附录）深度学习算法可靠性评估实施案例 15

参考文献 25

AIOSS-01-2018

III

前言

本标准按照GB/T1.1—2009给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本标准由中国人工智能开源软件发展联盟提出。

本标准由中国电子技术标准化研究院归口。

本标准负责起草单位：中国电子技术标准化研究院、中国科学院软件研究所、上海计算机软件技术开发中心、北京航空航天大学、华东师范大学、中国科学院计算技术研究所、军事科学院国防科技创新研究院、国防科技大学、卡索(北京)科技有限公司、北京百度网讯科技有限公司、浙江蚂蚁小微金融服务集团有限公司、深圳前海微众银行股份有限公司、顺丰科技有限公司、深圳市优必选科技有限公司、北京京东尚科信息技术有限公司、深圳赛西信息技术有限公司、数据地平线（广州）科技有限公司。

本标准主要起草人：薛云志、孟令中、崔静、张明英、张璨、周平、武斌、郭崎、刘畅、吴涛、李海峰、肖良、张超、于泉杰、宋俊典、戴炳荣、王长波、孙仕亮、陈美、李刚、潘欣、程思、刘志欣、刘新凯、王太峰、巢林林、袁杰、曹安然、尹思遥。

AIOSS-01-2018

IV

引言

人工智能的迅速发展正在深刻改变人类社会生活、改变世界，其技术和应用正经历快速发展的阶段。根据GB/T5271.28-2001《信息技术词汇第28部分:人工智能基本概念与专家系统》中的定义，“人工智能是表现出与人类智能（如推理和学习）相关的各种功能单元的能力。”机器学习是人工智能的核心技术之一，是使计算机具有智能的重要途径，其应用遍及人工智能的各个领域。深度学习是机器学习的一个子集，发源于人工神经网络的研究，通常也称为深度神经网络，是一种基于数据进行表征学习的方法。目前，深度学习算法在金融、安防、医疗等领域得到广泛应用，国务院发布的《新一代人工智能发展规划》中指出，人工智能进入新的发展阶段，“呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。”

然而，业界缺乏对深度学习算法可靠性、可移植性、效率等的系统性评估方法，一定程度上影响着深度学习的广泛应用和技术发展。本标准此版本仅针对人工智能深度学习算法的可靠性评估进行要求。随着研究的