将 Whisper 适应于儿童轻量级和高效自动语音识别的设备端边缘应用-计算机科学-人工智能-儿童语音识别-高效自动语音识别.pdfVIP

将Whisper适应于儿童轻量级和高效自动语音识别的设备端边缘应用

SatwikDutta,ShruthignaChandupatla,JohnH.L.Hansen

CenterforRobustSpeechSystems,TheUniversityofTexasatDallas,USA

satwik.dutta@,shruthigna.chandupatla@,john.hansen@

Abstract司）受到联邦贸易委员会(FTC)强制执行的《儿

童在线隐私保护法》(COPPA)的约束。根据FTC

云计算提供商对于支持以儿童为中心的语音应用

发布的综合报告[8]和众多诉讼[9]，近年来，一些

程序的ASR推理的可靠性正因监管和隐私挑战而

提供游戏、社交媒体和教育技术产品的公司在收

变得具有挑战性。受到保护隐私设计的启发，本研

集和使用儿童个人信息（包括语音[10]）方面违反

究旨在开发一个轻量级且高效的WhisperASR系

了COPPA执行政策。因此，即使儿童为中心的技

统，能够在树莓派上运行。通过对MyST语料库进

本术产品具有巨大的益处，它们也伴随着挑战，例如

行评估，并通过检查各种过滤策略以微调‘tiny.en’

译侵犯儿童隐私的风险[11,12]。

中模型，实现了15.9%的词错误率（经过过滤后为应对这一挑战的解决方案是依赖于本地或设

11.8%）。低秩压缩将编码器大小减少了0.51M，并

1在GPU上的推理速度提高了1.26倍，相对词错备端的语音识别（ASR）后端[13,14]，该后端离线

v

1误率增加了11%。在Pi上进行推理时，压缩版本所运行，语音数据保留在设备上，并在生成转录文本

5

4需的计算量少了2GFLOPS。对于各种输入音频后立即删除，且成本效益高。这确保了隐私保护设

4持续时间，两个模型的RTF范围都在[0.23-0.41]计不会违反COPPA（美国），或GDPR（欧洲）[15]

1

7.之间。分析RAM使用情况和CPU温度显示，PI和DPA（英国）[16]等同等的隐私法律。这样的设

0能够处理这两个tiny模型，但注意到小模型启动计也增强了家长、教师和实践者对使用该产品的信

5

2了热节流。心。在这种动机下，本研究旨在为儿童开发一种轻

:

vIndexTerms:儿童语音识别，低语，轻量级自量且高效的ASR系统，能够在一个边缘设备如树

i

x动语音识别，高效自动语音识别，在设备上转录莓派上本地运行。儿童正在发展的口语技能、语法

r

a知识以及变化的声音特征[17]给构建稳健的儿童

语音识别系统带来了挑战。与成人相比，这仍然被

1.介绍