使用大型语言模型反馈定制语音识别模型.pdfVIP

使用大型语言模型反馈定制语音识别模型

ShaoshiLingGuoliYe

MicrosoftCoreAIMicrosoftCoreAI

Redmond,WA,USARedmond,WA,USA

shaoshiling@guoye@

摘要—自动语音识别（ASR）系统在一般的转录任务中表相比之下，基于互联网规模语料库训练的文本大型

现出色。然而，它们仍然难以识别罕见的命名实体并适应领域语言模型（LLMs）如GPT4[5]，Deepseek[6]，Phi[7]

差异。相比之下，在大规模互联网数据集上训练的大语言模型在广泛领域中表现出显著的泛化能力。这些模型在涉及

（LLMs）通常在广泛的领域内更为有效。在这项工作中，我们提

常识推理、上下文学习甚至零样本适应的任务上展示了

出了一种基于强化学习的无监督领域自适应方法，通过利用未标

本记的数据并通过大语言模型的反馈来提升转录质量——特别是强大的性能。这样的能力表明，LLMs可以作为有价值

译受领域差异影响的命名实体。给定上下文信息，我们的框架采用资源来提升ASR模型的表现，特别是在低资源或领域

中一个LLM作为奖励模型，对ASR模型生成的假设进行评分。不匹配的情况下。最近的研究探索了通过诸如重排序

2这些分数充当强化学习中调整ASR模型的奖励信号。我们的方假设[8]–[11]或后处理中的错误修正[12]–[14]等方法将

v法在实体词错误率上比传统的自训练方法提高了21%。LLMs与ASR系统集成。

1

9IndexTerms—无监督领域适应，上下文定制，大型语言受来自AI反馈[15],[16]的强化学习（RL）启发，

0模型，自动语音识别，强化学习

1我们提出了一种使用在线LLM反馈进行无监督领域适

1

.I.介绍应的ASR系统。我们的方法不依赖于为ASR任务专门

6

0自动语音识别（ASR）系统近年来取得了显著进训练的奖励模型，而是直接从LLM中提取评估分数来

5绕过这一需求。具体来说，给定目标领域的口语假设以

2展，这得益于神经网络架构的进步和越来越多的标注数

:及上下文信息（例如，领域元数据、目标命名实体或先

v据的可用性[1]。然而，当目标领域或测试条件与训练

i前对话的描述），我们使用LLM通过计算LLMs中的对

x期间所见的不同时，ASR系统的性能往往会大幅下降。

r数概率得分之和来评估这些假设的质量。然后将这些分

a这种训练和测试条件之间的领域不匹配在实际应用中

很常见，并且是一个主要挑战。一种直接的方法是从目数用于生成奖励信号，指导使用诸如DPO[16],[17]和

标域收集标注数据并使用它来适应预训练的源模型。然GRPO[18]等最先进的RL算法进行ASR模型的微调。

与传统的自我训练技术不同，我们的方法不需要置信度

而，为每个新领域手动标注大量数据既耗时又昂贵。这

得分。相反，它利用LLM对语言和上下文的隐式理解

突显了需要能够利用未标记数据实现有效的源到目标

来生成可靠的奖励，从而促进目标领域中更准确且更具