连续语音识别测评指南.pdfVIP

连续语音识别测评指南 1 范围 本文件提供了连续语音识别测试集、测评方法、测评指标和测评报告的指导建议。 本文件适用于连续语音识别系统开发者、运营者及第三方测评机构对语音识别系统的连续语音识 别能力进行测试和评估。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 21023-2007 中文语音识别系统通用技术规范 3 术语、定义和缩略语 3.1 术语和定义 下列术语和定义适用于本文件。 3.1.1 语音识别 speech recognition 利用功能单元进行的，从语音信号到语音内容的某一表示的转换。 注1：拟识别的内容能由词或音素的适当序列表达。 [来源：GB/T 5271.29—2006，29.01.30，有修改：删除注2] 语音识别系统 speech recognition system 一种用于语音识别的功能单元。 注：语音识别器中有一个语音分析器部件，且通常使话音输入与语音模板的特征参数相匹配。 [来源：GB/T 5271.29—2006，29.02.05] 连续语音识别 continuous speech recognition 对正常语音情景中的讲话的识别。 注：按照识别实时性要求，连续语音识别又分为流式和非流式两种类型。 [来源：GB/T 5271.29—2006，29.02.08，有修改：添加注] 3.1.2 删除错误 deletion error 1 用户所发语音在语音识别结果中没有出现的错误。 3.1.3 插入错误 insertion error 用户没有发的语音在识别结果中出现的错误。 3.1.4 替换错误 substitution error 用户所发语音被识别成其他语音的错误。 3.1.5 测试语料 testing corpus 用于测评被测系统语音识别功能的音频集合。 3.2 缩略语 下列缩略语适用于本文件。 CER 字错误率 （Character Error Rate） CCR 字正确率 （Character Correct Rate） CSR 连续语音识别 （Continuous Speech Recognition） WER 词错误率 （Word Error Rate） WCR 词正确率 （Word Correct Rate） MER 混合错误率 （Mixed Error Rate） 4 概述 为实现连续语音识别测评的再现性，本文件针对连续语音识别测评涉及的测试语料设计、测试语音 录制、基于语音识别标准库和现场口呼的测试方法以及测评指标和报告等提出相关建议。 5 测试集 5.1 测试语料设计 测试语料宜从词汇量覆盖、领域覆盖等方面加以设计。测试集文本上分成若干组，每组可以由若干 人发音组成。设计建议如下： a) 对于小词汇量（系统所能识别的词汇量小于 127 的系统）每组测试集宜包含所有词汇； b) 对于中小词汇量（系统所能识别的词汇量在 128~ 1023 之间的系统）每组测试集的合集宜覆盖 系统的所有词汇量； c) 对于大中词汇量（系统所能识别的词汇量大于 1024 的系统），每组测试集词汇的合集宜考虑 尽量多地覆盖系统词汇量； d) 对在词汇、语法、语义等受到限制的连续语音，宜充分考虑句型、词汇、语义等的覆盖性；