流式 Sortformer：基于发言者缓存的在线发言者分离与到达时间排序-计算机科学-机器学习-说话人分割-语音处理.pdfVIP

流式Sortformer：基于发言者缓存的在线发言者分离与到达时间排序

IvanMedennikov,TaejinPark,WeiqingWang,HeHuang,KunalDhawan,JinhanWang,

JagadeeshBalam,BorisGinsburg

NVIDIA,USA

{imedennikov,taejinp,weiqingw,heh,kdhawan,jinhanw,jbalam,bginsburg}@

Abstract

本文提出了Sortformer说话人分割框架的流式扩

展，其关键特性是输出说话人的到达时间顺序。

所提出的方法采用了一个到达顺序说话人缓存Figure1:发言者缓存、先进先出队列和包含当前

（AOSC），用于存储之前观察到的说话人的帧级块及右上下文的输入缓冲区。

声学嵌入。与传统的跟踪缓冲区不同，AOSC根

本因其性能提升和使用便捷而受到欢迎。在[1,2]中，

据与其到达时间顺序相对应的说话人索引对嵌入

译分割被构架为基于置换不变训练损失[3]的帧级多

进行排序，并通过选择基于模型过去预测得分最

中分类问题。然而，这些系统的输出类别维度是固定

高的帧动态更新。值得注意的是，每个说话人存

1的。为解决这一限制，[4]和[5]采用了一个链式规

v储的嵌入数量由更新机制动态决定，确保了高效

6的缓存利用和精确的说话人跟踪。基准数据集上则范式来处理顺序输出，适应不同的说话人数量。

4Horiguchi等人[6,7]引入了EEND-EDA，该系统

4的实验验证了我们方法的有效性和灵活性，即使

8使用LSTM编码器-解码器来建模说话人吸引子，

1在低延迟设置中也是如此。这些结果确立了流式

.并随后通过两阶段聚类[8]进行扩展。最近，提出

7Sortformer作为实时多说话人跟踪的强大解决方

0案，并为流式多人语音处理奠定了基础。了基于注意力的编码器-解码器（AED）系统[9]，

5其中包含了多遍推理。

2IndexTerms:流式说话人分离，EEND，说话人

:

v缓存，Sortformer，到达时间排序对于在线应用，如实时字幕或人机交互，说话

i

x者分离系统必须处理音频流并在实时识别说话者。

r

a为了满足这一需求，开发了几种在线神经说话者

1.介绍

分离系统。基于离线EEND-EDA框架[6,7]，引

随着自动语音识别(ASR)系统的准确性不断入了分块版本BW-EDA-EEND[10]，该版本以10

提高，对稳健的说话人区分框架的需求显著增长。秒的推理延迟逐步计算说话人嵌入。随后，提