TSIA038-2024人工智能企业能力评估规范.pdf

ICS35.020

I653T/SIA

中国软件行业协会团体标准

T/SIA038—2024

______________________________________________________________________________________________

人工智能企业能力评估规范

Specificationsforcapabilityassessmentofartificialintelligenceenterprises

2024-6-15发布2024-6-15实施

中国软件行业协会发布

T/SIA038-2024人工智能企业能力评估规范

人工智能企业能力评估规范

1范围

正在开展人工智能业务的企业均适用于本标准，以对企业的整体水平及开展人工智能业

务的能力进行客观评价。

本标准可作为第三方机构的评估、认证依据。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期

的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括

所有的修改单）适用于本文件。

GB/T22900-2009科学技术研究项目评价通则

GB/T40147-2021《科技评估通则》

GB/T40148-2021《科技评估基本术语》

GB/T11457-2006信息技术软件工程术语

3术语和定义

3.1人工智能ArtificialIntelligence

人工智能是一门研究如何使计算机以及机器模拟、延伸和扩展人的智能行为的学科。它

涉及计算机科学、认知科学、哲学、神经科学、心理学、数学、语言学等多个领域。人工智

能的核心目标是创造能够理解环境、学习新知识、解决问题、作出决策，并以类似于或超越

人类智能的方式进行有效沟通的智能体。

3.2精确率Precision

精确率（Precision）是一种衡量分类模型或信息检索系统性能的指标，它专注于所检

索或预测为正例的样本中真正为正例的比例。

3.3召回率Recall

在机器学习和统计学中，特别是在评估分类模型性能时，是一个重要指标。它衡量的是

模型识别出的所有真正正类占所有实际正类的比例。

3.4F1值F1-score

F1值是评估分类模型性能的一个重要指标，尤其适用于那些关注精确率和召回率平衡的

场景。它是精确率和召回率的调和平均数。

3.5混淆矩阵ConfusionMatrix

混淆矩阵又称为误差矩阵，是一种用于评估和可视化分类模型性能的标准工具，特别是

在监督学习任务中。它以表格的形式呈现，用来总结分类器预测结果与实际类别标记之间的

对应关系。混淆矩阵的大小通常是n行n列，其中n代表类别的数量。

3.6ROC曲线ReceiverOperatingCharacteristicCurve

ROC曲线是一种在二分类模型中评估其性能的图形表示方法。ROC曲线通过绘制真阳性率

（TruePositiveRate,TPR）对假阳性率（FalsePositiveRate,FPR）的图形，展现了

分类器在不同阈值设置下的敏感性和特异性平衡。

3.7AUC值AreaUndertheCurve

3

T/SIA038-2024人工智能企业能力评估规范

AUC值是指ROC曲线下方的面积。ROC曲线通过图形化展示了一种二分类模型在所有可能

的分类阈值下，其真阳性率（TruePositiveRate,TPR）与假阳性率（FalsePositiveRate,

FPR）之间的权衡关系。

3.8交叉熵损失Cross-Entropy