TSAITA003-2023工业知识图谱推理决策技术评估规范.pdf

ICS35.240.50

CCSL70

T/SAITA

团体标准

T/SAITA003—2023

工业知识图谱推理决策技术评估规范

Specificationforindustrialknowledgegraphreasoninganddecisiontechnologyevaluation

2023-12-30发布2023-12-30实施

上海市人工智能技术协会  发布1

目次

前言III

引言IV

1范围1

2规范性引用文件1

3术语和定义1

4缩略语2

5工业知识图谱的推理决策系统评估框架2

6工业知识图谱推理决策系统测评指标体系3

概述3

数据集4

系统功能4

6.3.1功能有效性4

6.3.2易用性4

6.3.3兼容性4

6.3.4可维护性5

系统性能5

系统可信赖5

6.5.1安全性5

6.5.2可靠性5

6.5.3可解释性5

6.5.4鲁棒性5

7工业知识图谱推理决策系统测试评估流程6

确定系统质量目标6

数据集的规范7

构建测试环境7

设计测试项7

7.5开展测试活动7

7.6分析测试结果7

8工业知识图谱推理决策系统测评方法7

8.1数据集指标7

8.2系统功能指标8

8.2.1功能有效性8

8.2.2易用性10

8.2.3兼容性10

8.2.4可维护性11

I

系统性能指标11

系统可信赖指标12

8.4.1安全性12

8.4.2可靠性13

8.4.3可解释性13

8.4.4鲁棒性13

附录A15

参考文献18

II

T/SAITA003-2023

工业知识图谱推理决策技术评估规范

1范围

本文件规定了工业知识图谱推理决策系统的技术评估框架、指标体系和测试评估方法。

本文件适用于工业知识图谱推理决策系统的规划设计、系统集成、建设实施和测评。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本