《智能语音交互质量评价测试数据集要求》.pdfVIP

ICS 35.240.01 CCS 77 团 体 标 准 T/CESAXXXX—202X 智能语音交互质量评价测试数据集要求 TestDatasetRequirementsfor IntelligentVoiceInteraction QualityEvaluation 征求意见稿 在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。 已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请 证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请 号和申请日期。 202X-XX- XX发布 202X-XX- XX 实施 中国电子工业标准化技术协会 发 布 T/CESA XXXX—202X 智能语音交互质量评价测试数据集要求 1 范围 本文件规定了智能语音交互服务在唤醒、语音识别、全双工、意图满足、语音合成等方面的测试集 构建规范和要求。 本文件适用于对智能语音交互服务的整体或部分方面的评价。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本 （包括所有的修改单）适用于本 文件。 GB/T 36464 信息技术 智能语音交互系统 GB/T 21024—2007 中文语音合成系统通用技术规范 GB/T 41813.1-2022 信息技术 智能语音交互测试方法 第1部分:语音识别 3 术语和定义 GB/T 41813.1、GB/T 36464 （所有部分）、GB/T 21024界定的以及下列术语和定义适用于本文件。 3.1 唤醒 awaken 触发智能语音交互用户界面的语音控制操作。 3.2 唤醒词 awaken word 用于唤醒智能语音交互的关键词。 3.3 语音识别 speech recognition 将人类的声音信号转化为文字或者指令的过程。 [来源：GB/T 36464.1—2020,3.7] 3.4 全双工 fullduplex 1 T/CESA XXXX—202X 能够同时双向传递数据的通信方法。 3.5 意图 intent 用户期望通过智能语音交互达到某种目的的想法。 3.6 意图满足 intent fulfillment 实现或达到意图目标的程度。 3.7 语音合成 speech synthesis 通过机械的、电子的方法合成人类语言的过程。 [来源：GB/T 21024—2007,定义3.1] 3.8 测试数据集 test dataset 用于测试智能语音交互质量的语音或文字数据集合。 4 符号和缩略语 无。 5 概述 语音测试集应满足GB/T 41813.1的5.1的要求，按照语音品质分为A类、B类、C类、D类。 测试集按照形式分为语音测试集和文字测试集。其中语音测试集用来测试唤醒、语音识别、多轮对 话、全双工、意图满足；文字测试集用来测试语音合成。 语音测试集按照请求意图分为唤醒词 （及其相近词）、查询请求、非查询请求，其中： - 唤醒词，用于唤醒测试； - 查询请求，用于所有测试项目，个别子项目除外；根据包含指令的数量，分为单指令、多指令； 根据有效性，分为有效查询请求、无效查询请求； - 非查询请求，主要用于测试语音识别，通常会包含短语、句子、段落等。 6 语音测试集 6.1 唤醒数据集