音频 – 视觉对比学习在音系类别识别中的应用-计算机科学-多模态深度学习-音素识别.pdfVIP

音频–视觉对比学习在音系类别识别中的应用

刘戴琪汤玛斯·阿里亚斯-韦尔加拉耶娜·赫特尔安德烈亚斯·迈尔PaulaAndreaPérez-Toro

PatternRecognitionLab,Friedrich-Alexander-UniversitätErlangen-Nürnberg,Germany

SmartImagingLab,Friedrich-Alexander-UniversitätErlangen-Nürnberg,Germany

GITALab,UniversidaddeAntioquiaUdeA,Medellín,Colombia

daiqi.deutschfau.liu@fau.de

tomas.arias@fau.de

jana.hutter@fau.de

andreas.maier@fau.de

本paula.andrea.perez@fau.de

译

中

1ABSTRACT

v

2准确分类发音-音系特征在理解人类语音生成和开发稳健的语音技术方面发挥着至关重要的

8作用，特别是在临床环境中，目标音位分析和治疗可以提高疾病诊断准确性并促进个性化康

6

7复。在这项工作中，我们提出了一种结合实时磁共振成像（rtMRI）和语音信号以分类三个

1关键发音维度的多模态深度学习框架：发音方式、发音位置和声带振动。我们在从上述发音

.

7维度衍生出的15个音系类别上进行了分类，并使用四种音频/视觉配置评估了系统：单模态

0rtMRI，单模态音频信号，多模态中间融合以及基于对比学习的视听融合。在USC-TIMIT数

5

2据集上的实验结果显示，我们的基于对比学习的方法达到了最先进的性能，平均F1得分为

:0.81，与单模态基线相比绝对提高了0.23。结果证实了对比表示学习对于多模态发音分析的有

v

i效性。我们的代码和处理后的数据集将在/DaE-plz/AC_Contrastive_

x

rPhonology公开发布以支持未来研究。

a

Keywords实时MRI，对比学习，多模态深度学习，音素识别

1介绍

理解人类言语生产背后的构音过程是语音科学中长期存在的挑战，对理论语言学和临床诊断有着深远的影

响[1]。实时磁共振成像（rtMRI）已经成为一种强大的工具，用于可视化言语生成过程中声门道的动态配置，

提供了关于构音机制前所未有的洞察力[2]。这些洞察可以通过音位分析进行量化，从而更深入地理解人类语

言。然而，从这些高维且往往噪声较大的序列中提取有意义的音位表示仍然具有挑战性。一方面，仅使用MRI

而没有音频记录限制了系统准确区分某些音位的能力，主要是因为发音时声门道结构周围的细微变化[3]；因

此，在进行MRI扫描期间结合言语录音可以提高音位识别的准确性。另一方面，获取同步的语音录音需要使

用非磁性麦克风（例如光纤），但由于这类设备的成本高昂而可能无法获得。因此，需要能够整合在MRI扫

描过程中采集到的音频-视频数据的方法来进行音位分析。

音频–视觉对比音系学