自然语言处理系统测评规范.pdfVIP

自然语言处理系统测评规范 1　范围 本文件规定了自然语言处理系统的基本框架、测评指标体系、测评流程、测试方法，提供了自然语 言处理系统的评价规范。 本文件适用于自然语言处理系统的设计、研发、测试、应用与维护。 2　规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 25000.10-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE)第10部分：系统与软件 质量模型 GB/T 41867-2022 信息技术 人工智能 术语 ISO 22300:2021 安全与恢复力 术语 (Security and resilience – Vocabulary) T/CESA 1026-2018 人工智能 深度学习算法评估规范 3　术语和定义 GB/T 41867、ISO 17100、ISO 22300界定的以及下列术语和定义适用于本文件。 3.1　 自然语言处理系统 Natural language processing system 基于自然语言理解和自然语言生成的信息处理系统。 3.2　 自然语言理解 Natural language understanding 从已传入其中的自然语言文本中提取信息，并输出对给定文本及其表示的描述。 [来源：GB/T 41867-2022，3.3.15，有修改] 注：从引用源中去除了从语音中提取信息的要求。 3.3　 自然语言生成 Natural language generation 输出端为自然语言的任务。 [来源：GB/T 41867-2022，3.3.17，有修改] 注：从引用源中去除了输入端的要求。 3.4　 人工智能计算基础设施 Artificial intelligence portfolio 一种组成人工智能应用解决方案,帮助用户实现不同规模的业务逻辑的软硬件包。 [来源：GB/T 41867-2022，3.1.7，有修改] 注：引用源中文术语为“人工智能设施包” 。 3.5　 机器翻译 Machine translation 使用计算机系统将文本从一种自然语言自动翻译为另一种自然语言。 [来源：ISO 17100:2015，2.2.2，有修改] 1 注：从引用源中去除了翻译语音的要求。 3.6　 错误接受率 False acceptance rate 接受不该接受的样本的比率。 [来源：ISO 22300:2021，3.91] 3.7　 错误拒绝率 False rejection rate 拒绝不该拒绝的样本的比率。 [来源：ISO 22300:2021，3.92] 3.8　 不变性测试 Invariance test 对原始输入文本数据作不改变原意的扰动，观察系统在扰动前后的输出改变是否在可接受范围内。 3.9　 方向期望测试 Directional expectation test 对原始输入文本数据作向指定方向变化的扰动，观察系统输出是否按期望的方向变化。 3.10　 可解释性 Explainability 系统以人能理解的方式，表达影响其（执行）结果的重要因素的能力。 [来源：GB/T 41867-2022，3.4.3] 3.11　 自解释 Self-explaining 系统同时输出决策与对该决策的解释。 4　符号和缩略语 下列缩略语适用于本文件。 ARM：高级精简指令集机器（Advanced RISC Machine） ASIC：专用集成电路（Application Specific Integrated Circuit） AUC：曲线下面积（Area Under Curve） BLEU：双语评估（BiLingual Evaluation Understudy） CPU：中央处理器（Central Processing