面向使用流式 ASR、量化 LLM 和实时 TTS 的低延迟端到端电信语音代理.pdfVIP

面向使用流式ASR、量化LLM和实时TTS的低延迟端到端电信语音

代理

VigneshEthirajAshwathDavidSidhanthMenonDivyaVijay

NetoAI

support@netoai.ai

Abstract并通过一个多线程流架构将它们连接起来。我

们的贡献包括：

我们提出了一种低延迟的端到端语音到语

音通信管道，专为实时交互式电信场景（如•句子级流式传输：该流水线支持句子级流

呼叫中心自动化和交互式语音应答系统）处理，允许大语言模型将生成的句子逐步

设计。我们的系统集成了流式自动语音识传输到TTS模块，以实现早期和连续的音

本别（ASR）、4位量化大型语言模型（LLM）、频输出。

基于电信文档的检索增强生成（RAG）以

译及实时文本转语音（TTS），以实现响应迅•4位LLM量化：大型语言模型被量化到

中速、知识支持的口语互动。为了在一个现4位精度，显著减少了GPU内存占用和推

1实环境中评估性能，我们构建了一个包含理延迟，同时保持生成质量。

v

1500个人类录音片段的自定义数据集，其

2中涉及的问题来自RFC文档中的电信相关•并发模块执行：语音识别模块、大语言模

7

4问题。该基准测试模拟用户对电信语音代型模块和文本转语音模块同时运行。它们

0.理的查询，并支持分析延迟和领域相关性。通过非阻塞的生产者-消费者模式进行协

8管道结合了句子级流式处理、并行处理以调，实现无阻塞且无需不必要的等待时间

0

5及基于向量的文档检索，在各个组件中实的无缝实时处理。

2

:现了低于1.0的实际时间因子（RTF）。结

v•延迟和性能分析：系统包括延迟组件的详

i果证明，该系统在低延迟电信应用（如客

x户服务和支持诊断）方面是有效的。细分解，使理解性能权衡以及每个模块和

r

a

架构选择对整体响应性的影响成为可能。

1介绍

2相关工作

实时语音接口日益要求在自动语音识别

流式ASR、量化LLM和实时TTS方面的

（ASR）、自然语言理解（NLU）和文本转语音

最新进展，通过精心的架构选择和优化技术，

（TTS）之间进行低延迟处理。尽管这些领域各

使我们能够开发低延迟的声音转换系统，并直

自取得了显著进展，但将它们整合到一个单一