TSAITA0032023工业知识图谱推理决策技术评估规范.pdfVIP

ICS35.240.50

CCSL70

T/SAITA

团体标准

T/SAITA003—2023

工业知识图谱推理决策技术评估规范

Specificationforindustrialknowledgegraphreasoninganddecisiontechnologyevaluation

2023-12-30发布2023-12-30实施

上海市人工智能技术协会  发布1

目次

前言III

引言IV

1范围1

2规范性引用文件1

3术语和定义1

4缩略语2

5工业知识图谱的推理决策系统评估框架2

6工业知识图谱推理决策系统测评指标体系3

概述3

数据集4

系统功能4

6.3.1功能有效性4

6.3.2易用性4

6.3.3兼容性4

6.3.4可维护性5

系统性能5

系统可信赖5

6.5.1安全性5

6.5.2可靠性5

6.5.3可解释性5

6.5.4鲁棒性5

7工业知识图谱推理决策系统测试评估流程6

确定系统质量目标6

数据集的规范7

构建测试环境7

设计测试项7

7.5开展测试活动7

7.6分析测试结果7

8工业知识图谱推理决策系统测评方法7

8.1数据集指标7

8.2系统功能指标8

8.2.1功能有效性8

8.2.2易用性10

8.2.3兼容性10

8.2.4可维护性11

I

系统性能指标11

系统可信赖指标12

8.4.1安全性12

8.4.2可靠性13

8.4.3可解释性13

8.4.4鲁棒性13

附录A15

参考文献18

II

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件由上海市人工智能技术协会提出并归口。

本文件起草单位：上海工程技术大学、东华大学、安徽志国智能科技有限公司、上海联鼎软件股份

有限公司、达观数据有限公司、华润江中制药集团有限责任公司、星环信息科技（上海）股份有限公司、

上海道客网络科技有限公司、上海波士内智能科技有限公司、江西沪赣未