大型语言模型为基础的 ASR 的高效缩放.pdfVIP

大型语言模型为基础的ASR的高效缩放

BingshenMu,YiwenShao,KunWei,DongYu,LeiXie

TencentAILab

摘要—大型语言模型（LLM）为基础的自动语音识别优化多个模块，导致计算预算大幅增加。此外，LLM-ASR

（ASR）实现了强大的性能，但通常会带来高昂的计算成本。本通常利用现有预训练的ASR模型（如Whisper[27]）中

研究探讨了如何高效地获得最佳的LLM-ASR性能。通过全面的编码器，并在整个训练过程中保持其不变。在这项工作

且受控的实验，我们发现，在将语音编码器与LLM集成之前对

中，我们提供了一个关键见解：在将语音编码器与大语言

其进行预训练，比标准的联合后训练实践具有显著更好的扩展效

率。基于这一洞察，我们提出了一种新的多阶段LLM-ASR训模型集成之前对其进行预训练，比标准的联合后训练方法

练策略，即EFIN：编码器优先集成。在所有评估的训练策略中，（LLM-ASR）具有显著更好的扩展效率。具体来说，由于

EFIN持续提供更好的性能（相对于21.1%CERR），并且计ASR模型的参数远少于LLM-ASR，独立地以高识别精度

算预算显著降低（49.9%FLOPs）。此外，我们推导出一个逼近训练一个ASR模型更具成本效益。此外，该ASR模型的

本ASR错误率作为计算函数的扩展定律，为LLM-ASR扩展提编码器具有更好的语音特征提取能力，这显著有助于提升

译供了实用指南。LLM-ASR的识别性能。因此，在给定预训练的语音编码

IndexTerms—语音编码器，LLM-ASR，高效训练，缩

中放定律。器和作为主干的大语言模型以及用于后训练的新领域数据

1的情况下，我们引入了一种针对LLM-ASR的三阶段训练

v

6I.介绍策略，命名为EFIN：EncoderFirst输入ntegration。

9阶段1：我们独立地使用其原始架构和目标微调语音

0自2010年代神经网络(NNs)和深度学习兴起以来，自

4动语音识别(ASR)已从依赖仅基于NN的声学模型的混合编码器。

0

.阶段2：我们冻结了微调的编码器和预训练的语言模

8框架[1]–[3]转变为端到端(E2E)框架[4]–[8]，其中整个

型，并仅训练投影层以初步收敛。

0NN模型被训练以直接输出转录文本。尽管在根据词错误

5阶段3：我们解冻投影层和大语言模型，并联合训练

2率(WER)或字符错误率(CER)衡量的语音识别准确性方

:它们直至最终收敛。为了进一步降低资源需求，我们

v面取得了显著进步，但仍存在大量错误[9]–[11]。具体来说，

i当前E2EASR框架难以有效地利用丰富的常识知识并在在这一阶段对大语言模型应用低秩适应（LoRA）[28]。

x

r语音识别过程中进行上下文推理，这使得它们不可避免地此外，我们研究了所提出的训练策略EFIN的缩放特

a

依赖于与外部语言模型(LMs)相结合的复杂融合策略。随性，以准确预测固定计算预算下LLM-ASR的语音识别性

着大