面向噪声环境的嵌入式语音识别系统设计与实现.pdf

摘要

作为机器听觉领域研究最为广泛的技术，自动语音识别在智能家居、智能汽

车、智能手机虚拟助手等场景下都有非常重要的应用价值。在理想环境下，自动

语音识别的精度已经接近饱和。但是在噪声场景尤其是高噪声场景下，受稳态和

非稳态噪声的影响，语音识别的精度出现大幅度下降乃至完全失去识别效果。同

时，在一些特定的对能源使用要求较为严苛的军事应用场景，如航空航天卫星、

全天候陆地侦察车等，对低功耗的嵌入式语音识别方案有较大需求。因此本文针

对特定的噪声环境研究了嵌入式语音识别方案，并设计和实现了一个小型的嵌入

式语音识别系统。本文的主要工作内容和创新点如下：

1.考虑到稳态噪声和非稳态噪声对语音识别的影响，设计实现了满足实时

性的语音降噪前端，作为语音识别的预处理前端。考虑到嵌入式平台的

硬件资源限制，基于DNN-HMM框架设计了轻量化的语音识别模型

TDNN-13-SVD-M-Denoise-Trigram，结合语音降噪前端进行实验，在信噪

比为[-10,2]的特定强噪声环境下测试AISHELL测试集，语音识别字错率

为6.81%。其中，语音降噪前端带来了0.3%-0.5%的错误率下降。

2.考虑到语音识别推理的性能，基于嵌入式异构计算环境（国产FT-2000A

CPU和国产690TFPGA）设计和实现了TDNN网络加速引擎，在TDNN-

13-SVD-M-Denoise模型上测试，推理性能是OpenBLAS库加速的3.07倍。

3.考虑到实际应用的需求，优化和实现了C++嵌入式语音识别API，该API

既提供了语音识别功能，也提供了非固定关键词检索功能，声学模型的

DNN网络可以选择OpenBLAS和TDNN加速引擎两种方案进行加速，由

CMake进行配置。最后采用6-8s的语音数据测试API的推理接口，基于

OpenBLAS加速的语音识别时间在1.2s左右，基于TDNN引擎加速的语

音识别时间在750ms左右。同时，API的语音识别接口的字错率为7.13%。

4.基于API设计和实现了一个离线、近场的嵌入式语音识别系统，该系统可

对录音中的静音音频和纯背景噪声进行过滤，并且可根据语音内的停顿

分割语句。系统的运行功耗仅为5-6W，配备电池后可支持长时间的使用。

综上，本文设计的嵌入式语音识别系统具备抗噪性、实时性和低功耗的特点。

关键词：嵌入式语音识别，语音降噪，轻量化网络，现场可编程门阵列

ABSTRACT

Asthemostwidelystudiedtechnologyinthefieldofmachinehearing,automatic

speechrecognitionhasveryimportantapplicationinsmarthome,smartcar,virtual

assistantforsmartphoneandotherscenarios.Underidealcircumstances,theaccuracyof

automaticspeechrecognitionisclosetosaturation.However,innoisescenes,especially

inhighnoisescenes,theaccuracyofspeechrecognitionisgreatlyreducedoreven

completelylostduetotheinfluenceofsteadyandunsteadynoises.Atthesametime,in

somespecificmilitaryapplicationscenarioswithstrictenergyusagerequirements,such

asaerospacesatellites,all-weatherlandreconnaissan