TAF-WG7-AS0043-V1.0.0-2019 智能产品语音识别测评方法 第二部分：智能音箱.docxVIP

电信终端产业协会标准

TAF-WG7-AS0043-V1.0.0:2019

智能产品语音识别测评方法第二部分：智能音箱

EvaluationSpecificationofSpeechRecognitionforSmartProducts

Part2:SmartSpeaker

2019-10-14发布

2019-10-14实施

电信终端产业协会发布

I

TAF-WG7-AS0043-V1.0.0:2019

目录

目录 I

前言 II

引言 III

智能产品语音识别测评方法第二部分：智能音箱 1

1范围 1

2规范性引用文件 1

3术语、定义和缩略语 1

3.1术语和定义 1

3.2缩略语 3

4功能要求 3

4.1智能音箱系统框架 3

4.2接口 4

4.3网络 4

4.4语音交互 4

4.5资源内容 5

4.6账号和升级管理 5

5语料设计和环境搭建 6

5.1语料库设计 6

5.2测试环境 6

6测试方法 7

6.1唤醒率 8

6.2误唤醒率 8

6.3唤醒延迟 8

6.4识别响应准确率 9

6.5识别响应时间 9

6.6用户意图识别准确率 9

该指标用于评价智能音箱具体功能支持的广度与深度。 9

附录A（规范性附录）标准修订历史 10

附录B（资料性附录）测试集技能领域参考 11

参考文献 13

TAF-WG7-AS0043-V1.0.0:2019

II

前言

本标准按照GB/T1.1-2009给出的规则编写。

本标准由电信终端产业协会提出并归口。

本标准起草单位：中国信息通信研究院、华为技术有限公司。

本标准主要起草人：李玮、傅蓉蓉、张小雨、董千洲、刘毓炜、郑宗斌、高伟、孙亮、陈会

TAF-WG7-AS0043-V1.0.0:2019

III

引言

目前智能音箱行业空前火热，互联网巨头纷纷扎堆布局智能音箱。智能音箱被认为是物联网的“新入口”，它集成了AI智能引擎，搭载语音交互、有声资源播放、智能家居控制、生活O2O服务等功能，使用场景丰富，潜力巨大。但与此同时，用户在使用智能音箱时也面临标准缺失带来的问题，比如唤醒效果差、误唤醒、语音识别错误、答非所问、音质差、抗噪能力不足等，成为阻碍智能音箱发展、无法满足用户体验的重要原因。

因此，有必要针对智能音箱制定面向消费者的语音交互测评方法，从而为智能音箱的质量评估提供

因此，有必要针对智能音箱制定面向消费者的语音交互测评方法，从而为智能音箱的质量评估提供必要的参考依据，帮助更好地规范智能音箱市场，保障用户的使用体验。

TAF-WG7-AS0043-V1.0.0:2019

1

智能产品语音识别测评方法第二部分：智能音箱

1范围

本标准规定了智能音箱语音交互性能测评指标和测试方法。

本标准适用于指导第三方测评机构对智能音箱的性能测评工作。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件

SJ/T11380-2008自动声纹识别（说话人识别）技术规范

GB/T21023-2007中文语音识别系统通用技术规范

DB50/T489-2013智能家居监控系统技术要求

DB50/T488-2013智能家居监控系统测试规范

ITU-TP.851基于口语对话系统的电话服务的主观质量评价（Subjectivequalityevaluationoftelephoneservicesbasedonspokendialoguesystems）

3术语、定义和缩略语

3.1术语和定义

下列术语和定义适用于本文件

3.1.1智能音箱

智能音箱是一款具备传统音箱功能，同时在此基础上拥有语音识别、语义理解和语音合成的整套语音交互功能的智能设备。产品可拥有多种互联网服务内容，成为消费者从互联网上获取信息的一种工具，例如点播歌曲、听新闻，或是了解天气预报，它也可以对智能家居设备进行控制，比如打开空调、预约电饭锅煮饭等。

3.1.2麦克风阵列MicrophoneArray

麦克风阵列是应用于语音处理的系统，它由一定数目的麦克风按规则排列组成，用来对声场的空间特性进行采样并处