基于ZYNQ平台的自动语音识别算法设计与实现.pdfVIP

摘要

语音是人类的一种重要的交流方式。随着万物互联时代的到来，智能语音设备

给人类的生活带来了极大的改变，在智能家居、智慧城市、智能制造等方面发挥了

重要作用。在语音识别领域，目前大部分的连续语音识别算法复杂度高，需要依赖

于CPU、GPU或云服务器。由于CPU、GPU的高功耗和云服务器的延迟及网络依

赖性，限制了语音识别的应用场景。因此，研究实时性强、低功耗、低成本的边缘

计算设备成为了众多科研人员的关注点。

针对以上问题，论文研究了国内外的语音识别算法现状，完成了语音识别算法

模型的搭建与改进，并基于ZYNQ片上系统平台进行了算法实现与验证，论文的

主要研究内容如下：

1)选择了性能较好且易于硬件加速的语音识别算法进行建模、训练及性能评

估。语音识别算法主要包括基于梅尔频谱的特征提取和基于卷积神经网络的声学

模型搭建，算法模型基于连接时序分类（ConnectionistTemporalClassification,CTC）

准则在公开的中文语音数据集（FreeStChineseMandarinCorpus，FSCMC）进行训

练，在测试集上语音识别算法的音素错误率（PhonemeErrorRate，PER）为16.12%。

2)改进语音识别算法的实时性并结合硬件特性进行算法优化。（1）加入语音

端点检测（VoiceActivityDetection，VAD）模块，明显改善了算法的实时性。（2）

利用批量归一化层融合技术对权重进行预处理，同时对语音识别模型进行8bit定

点化，定点化后模型的PER为16.81%，与之前相差0.69%，可以更好的节约硬件

资源。（3）结合硬件平台特性，实现了DSP双乘法共享，大幅度提高了ZYNQ平

台中DSP的利用程度。

3)基于XILINXZYNQ-XC7Z035平台设计实现了语音识别系统。语音识别系

统可以在语音输入结束立即启动计算，且语音识别声学模型推理一次的最大时间

为238.59ms，从而保证了系统的实时性。其中，卷积神经网络加速器使用了较少

的资源，在150MHz的时钟下，达到了64.5GOPS的算力、25.5GOPS/W的能效比。

关键词：语音识别，片上系统，语音端点检测，卷积神经网络加速器

ABSTRACT

Voiceisanimportantwayofcommunicationforhumanbeings.Withtheadventof

theeraoftheInternetofEverything,intelligentvoicedeviceshavebroughtgreatchanges

tohumanlife,andhaveplayedanimportantroleinsmarthomes,smartcities,andsmart

manufacturing.Inthefieldofspeechrecognition,mostofthecurrentcontinuousspeech

recognitionalgorithmsarehighlycomplexandneedtorelyonCPU,GPUorcloudservers.

DuetothehighpowerconsumptionofCPUandGPU,andthedelayandnetwork

dependenceofcloudservers,theapplicationscenariosofspeechrecognitionarelimited.

Therefore,researchonedgecomputingdeviceswithstrongreal-timeperformance,low

powerconsumptionandlowcosthasbecomethefocusofmanyresearchers.

Inresponsetotheaboveproblems,thethesisstudiesthecurrentstatusofsp