TSAITA 003-2023 工业知识图谱推理决策技术评估规范.docx

ICS35.240.50

CCSL70

T/SAITA

团 体 标 准

T/SAITA003—2023

工业知识图谱推理决策技术评估规范

Specificationforindustrialknowledgegraphreasoninganddecisiontechnologyevaluation

2023-12-30发布 2023-12-30实施

上海市人工智能技术协会??发布 1

PAGE\*ROMAN

PAGE\*ROMANIII

目 次

前 言 III

引 言 IV

范围 1

规范性引用文件 1

术语和定义 1

缩略语 2

工业知识图谱的推理决策系统评估框架 2

工业知识图谱推理决策系统测评指标体系 3

概述 3

数据集 4

系统功能 4

功能有效性 4

易用性 4

兼容性 4

可维护性 5

系统性能 5

系统可信赖 5

安全性 5

可靠性 5

可解释性 5

鲁棒性 5

工业知识图谱推理决策系统测试评估流程 6

确定系统质量目标 6

数据集的规范 7

构建测试环境 7

设计测试项 7

开展测试活动 7

分析测试结果 7

工业知识图谱推理决策系统测评方法 7

数据集指标 7

系统功能指标 8

功能有效性 8

易用性 10

兼容性 10

可维护性 11

系统性能指标 11

系统可信赖指标 12

安全性 12

可靠性 13

可解释性 13

鲁棒性 13

附 录 A 15

参 考 文 献 18

前 言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件由上海市人工智能技术协会提出并归口。

本文件起草单位：上海工程技术大学、东华大学、安徽志国智能科技有限公司、上海联鼎软件股份有限公司、达观数据有限公司、华润江中制药集团有限责任公司、星环信息科技（上海）股份有限公司、上海道客网络科技有限公司、上海波士内智能科技有限公司、江西沪赣未来智能技术有限公司。

本文件主要起草人：李媛媛、刘烨、方志军、燕彩蓉、王文广、黄勃、梁川、丁文林、江会华、陈雪军、吴勇、杨洪山、张红兵、贺梦洁、黄芳、方正豪、汪未雅、张国庆、方励剑、郭林盛、朱洵。

T/SAITA003-2023

T/SAITA003-2023

PAGE\*ROMAN

PAGE\*ROMANIV

引 言

《工业知识图谱推理决策技术评估规范》面向航空、汽车、制药等行业的工业知识图谱推理决策系统，针对企业全产业链智能制造中产生的知识表示不规范、决策评估不标准等问题，构建基于工业知识图谱的质量评价体系，有效推动企业数字化转型，促进全产业链多业务领域技术融合，实现企业降本增效。

T/SAITA003-2023

T/SAITA003-2023

PAGE

PAGE10

工业知识图谱推理决策技术评估规范

范围

本文件规定了工业知识图谱推理决策系统的技术评估框架、指标体系和测试评估方法。本文件适用于工业知识图谱推理决策系统的规划设计、系统集成、建设实施和测评。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T42131-2022人工智能知识图谱技术框架

术语和定义

下列术语和定义适用于本文件。

工业知识图谱industryknowledgegraph

以结构化形式描述工业领域的知识元素及其联系的集合。

实体entity

独立存在的对象。

【来源：GB/T42131-2022，3.2】

知识元素knowledgeelement

描述某一事物或概念的不必再分且独立的知识单位。

注：本文件中谈及的实体、概念（实体类型）、属性、关系、关系类型、事件、规则等统称为知识元素。

【来源：GB/T42131-2022，3.4】

本体ontology

表示实体类型以及实体类型之间关系、实体类型属性类型及其之间关联的一种模型。

【来源：GB/T42131-2022，3.8】

数据挖掘datamining

从大量的数据中搜索隐藏于其中的有着特殊关系性的信息的过程。

知识获取knowledge