FlexCTC：具备高级上下文能力的 GPU 加速 CTC 束解码.pdfVIP

FlexCTC：具备高级上下文能力的GPU加速

CTC束解码

LilitGrigoryan,VladimirBataev,NikolayKarpov,AndreiAndrusenko,VitalyLavrukhinandBorisGinsburg

NVIDIA,Yerevan,Armenia

NVIDIA,SantaClara,USA

Equalcontribution

Correspondingauthor,lgrigoryan@

摘要—虽然束搜索改进了贪婪解码的语音识别质量，但标然而，束搜索仍然可以显著受益于批处理和并行性。批

本准实现速度慢，通常是顺序执行且依赖CPU。为了充分利用现处理指的是并行处理多个语句，而不是逐个解码它们。

译代硬件能力，我们提出了一种新颖的开源FlexCTC工具包，用除了这种输入级别的批处理，我们还可以通过并行处理

于完全基于GPU的束解码，专为连接时序分类（CTC）模型设

中束中的多个假设来利用输入内的并行性。通过结合这两

计。该工具包完全用Python和PyTorch开发，提供了比传统

1C++、CUDA或WFST基础解码器更快、更用户友好且可扩个层次的并行性——跨输入以及每个输入上的束假设，

v

5展的替代方案。该工具包的特点是具有高性能的全批处理GPU并在GPU上执行它们，我们可以大幅加速解码过程。

1实现，消除了CPU-GPU同步并通过CUDAGraphs最小化此外，束搜索性能与束大小密切相关：较大的束提高了

3

7了内核启动开销。它还支持高级上下文技术，包括基于GPU的找到高分假设的机会但增加了计算成本。我们的实现利

0.N元语法语言模型融合和短语级增强。这些功能使得解码既准用了GPU上的输入内并行性，即使使用较大的束宽度

8确又高效，适用于研究和生产使用。

0IndexTerms—语音识别，CTC，束搜索，GPU加速，也能实现高速解码。

5束搜索解码在结合定制技术引导识别过程向更准

2N元语言模型，词提升，短语级提升。

:确和相关的结果发展时变得尤为有效。一种常用的方法

v

iI.介绍是语言模型（LM）融合，它将外部LM与声学模型的输

x

rGPU硬件和深度学习架构的进步使得自动语音识出得分相结合以提高解码质量。外部LM提供了从大量

a

别（ASR）系统中的许多组件可以在GPU上实现完全文本数据集中学习到的语言知识，有助于通过更好的句

并行化。法和语义增强声学模型的预测。整合LM有多种方式，

现代的ASR编码器架构——如transformers[1],例如浅层融合[5]，冷融合和深层融合，这些方法在LM

[2]和Conformers[3]——专门设计用于通过音频序列的如何影响解码过程方面有所不同[6]。除了这种一般性

指导外，短语级别的提升提供了一种针对性的方法来增

同时计算来利用这种并行性，从而最大化GPU的利用

加特定用户定义的短语出现的可能性，如个人姓名、技

率和吞吐量。

术术语或品牌名称。我们将GPU加速的n元语言模型

相比之下，解码阶段——特别是束搜索往往在CPU