CN114005434B 端到端语音的置信度计算方法、装置、服务器和介质 （北京小鹏汽车有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114005434B(45)授权公告日2025.07.01

(21)申请号202111403940.1

(22)申请日2021.11.24

(65)同一申请的已公布的文献号申请公布号CN114005434A

(43)申请公布日2022.02.01

(73)专利权人北京小鹏汽车有限公司

地址100089北京市海淀区北四环西路67

号14层1608室

G10L15/06(2013.01)

G10L15/16(2006.01)

(56)对比文件

CN110097894A,2019.08.06CN112712804A,2021.04.27审查员王新朝

(72)发明人王文超余骁捷

(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201

专利代理师花丽

(51)Int.CI.

G10L15/01(2013.01)

G1OL15/02(2006.01)权利要求书2页说明书8页附图4页

(54)发明名称

端到端语音的置信度计算方法、装置、服务器和介质

(57)摘要

CN114005434B本发明公开了一种语音识别中端到端语音的置信度计算方法、装置、服务器和介质。识别方法，包括：提取输入音频各帧数据的声学特征；将所述声学特征输入语音识别解码器并得到对应的识别结果；根据所述声学特征、所述识别结果和预设特征抽象模型，提取所述识别结果中每个字的置信度特征；将所述识别结果和所提取的置信度特征作为置信度计算模型的输入，预测出所述识别结果中每个字的置信度和句子的置信度。上述语音识别中端到端语音的置信度计算方法，直接由声学特征和识别结果计算各个字和句子的置信度，此置信度计算方案无需适配与依赖语音识别解码器的具体实现，具有独立优化、高效、

CN114005434B

01-

01-

提取输入音频各帧数据的声学特征

03-将声学特征输入语音识别解码器并得到对应的识别结果

05-根据声学特征、识别结果和预设特征抽象模型，提取识别结果中每个字的置信

度特征

07-将识别结果和所提取的置信度特征作为置信度计算模型的输入，预测出识别结果中每个字的置信度和句子的置信度

CN114005434B权利要求书1/2页

2

1.一种语音识别中端到端语音的置信度计算方法，其特征在于，包括：

提取输入音频各帧数据的声学特征；

将所述声学特征输入语音识别解码器并得到对应的识别结果；

根据所述声学特征、所述识别结果和预设特征抽象模型，提取所述识别结果中每个字的置信度特征；

将所述识别结果和所提取的置信度特征作为置信度计算模型的输入，预测出所述识别结果中每个字的置信度和句子的置信度；

根据所述声学特征、所述识别结果和预设特征抽象模型，提取所述识别结果中每个字的置信度特征，包括：

预先设置采用编码器-解码器的模型结构的特征抽象模型；

对该特征抽象模型进行训练；

将所述声学特征输入训练好的特征抽象模型的编码器中抽象出原始特征；

将所述原始特征输入训练好的特征抽象模型的解码器中抽象出编码器特征；

将所述原始特征和所述识别结果输入训练好的特征抽象模型的解码器中抽象出解码器特征，所述置信度特征包括所述编码器特征和所述解码器特征。

2.根据权利要求1所述的语音识别中端到端语音的置信度计算方法，其特征在于，将所述原始特征输入训练好的特征抽象模型的解码器中抽象出所述编码器特征，包括：

通过多头注意力机制使所述原始特征在训练好的特征抽象模型的解码器中抽象出所述编码器特征。

3.根据权利要求1所述的语音识别中端到端语音的置信度计算方法，其特征在于，将所述识别结果和所提取的置信度特征作为置信度计算模型的输入，预测出所述识别结果中每个字的置信度和句子的置信度，包括：

以所述识别结果、所述置信度特征作为输入，通过特征拼接和位置编码后，送入多层TransformerBlock模块，之后其中一头通过Sigmoid产生字的置信度，另一头过层级注意力进行句子级别抽象后再送入Sigmoid产生句子的置信度。

4.根据权利要求3所述的语音识别中端到端语音的置信度计算方法，其特征在于，所述置信度计