基于自监督预训练模型和NWCE的口吃语音分类.pdfVIP

2025年第46卷第1期中北大学学报（自然科学版）Vol.46No.12025

（总第219期）JOURNALOFNORTHUNIVERSITYOFCHINA（NATURALSCIENCEEDITION）（SumNo.219）

文章编号：1673-3193（2025）01-0019-08J.NorthUniv.China,Nat.Sci.Ed.,2025,46(1):19-26.

基于自监督预训练模型和NWCE的口吃语音分类

殷志鹏，徐新洲

（南京邮电大学物联网学院，江苏南京210003）

摘要：口吃语音分类旨在利用语音信号对不同口吃类别进行分类识别，而现有相关研究没有充分考虑自

监督预训练模型表示嵌入的时序特性，且只简单地表征了口吃语音数据的类别不平衡性。为此，本文提出

一种基于自监督预训练模型和非线性加权交叉熵（NWCE）损失的口吃语音分类方法。该方法首先利用自监

督预训练模型提取副语言表示嵌入，然后通过带自注意力机制的双向长短期记忆网络模型，捕捉嵌入中显

著的时序特征和上下文信息，最后利用非线性加权交叉熵损失来关注样本较少的口吃语音类别。在口吃语

音分类数据集上的实验结果表明，本文方法通过学习语音中自监督预训练模型多层表示嵌入的时序信息，

并且通过NWCE充分描述了各口吃类别数据间的关系，取得了比现有方法更好的口吃语音分类性能。

关键词：计算副语言；口吃语音分类；自监督预训练模型；非线性加权交叉熵损失

中图分类号：TP183文献标识码：Adoi:10.62756/jnuc.issn.1673-3193.2023.09.0002

引用格式：殷志鹏，徐新洲.基于自监督预训练模型和NWCE的口吃语音分类［J］.中北大学学报（自然科

学版），2025，46（1）：19-26.

YINZhipeng，XUXinzhou.Stutteringspeechclassificationbasedonself‑supervisedpre‑trainedmodeland

NWCE［J］.JournalofNorthUniversityofChina（NaturalScienceEdition），2025，46（1）：19-26.

StutteringSpeechClassificationBasedonSelf‑Supervised

Pre‑TrainedModelandNWCE

YINZhipeng，XUXinzhou

（SchoolofInternetofThings，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China）

Abstract：Stutteringspeechclassificationaimstoclassifyandrecognizedifferentcategoriesofstuttering

usingspokensignals.Nevertheless，theexistingrelatedworksfailtosufficientlyfocusonsequentialchar‑

acteristicsfortherepresentationembeddingofself-supervisedpre-t