基于对比学习的语音表征学习研究综述.docVIP

基于对比学习的语音表征学习研究综述

一、对比学习的核心逻辑与语音场景适配基础

对比学习的本质是通过构建正负样本对，让模型在嵌入空间中拉近同类样本距离、推远异类样本距离，从而学习到具有判别性的表征。在计算机视觉领域，该范式通过数据增强（如裁剪、翻转、加噪）构造正样本对的方案已经得到广泛验证，但语音信号的时序性、声学特征多样性、语义信息的上下文关联性决定了其无法直接套用视觉领域的增强策略。

语音信号的输入通常是一维时序波形，或经过短时傅里叶变换得到的梅尔频谱图，其信息分布同时存在于时域（语速、停顿、节奏）和频域（基频、共振峰、能量分布）两个维度。对比学习在语音场景的适配首先需要解决的是正样本对的合理性问题：两个样本属于同一语义单元或同一说话人，不能仅依赖随机加噪获得，需要结合语音的物理特性设计增强方式。目前主流的语音正样本构造方法包括：时域上的语速调整（不改变基频的前提下缩放时长±15%）、随机片段遮蔽、加高斯白噪声或环境混响；频域上的梅尔频率掩码（SpecAugment）、随机频带擦除；以及语义层面的同一句话不同风格朗读、同一说话人不同场景录音等。这类增强方式既保证了正样本对在语义或说话人属性上的一致性，又引入了足够的类内差异，避免模型学习到trivial的特征。

对比学习的损失函数设计同样需要适配语音场景。最基础的InfoNCE损失在面对多粒度语音任务时存在明显局限：当任务需要