语音作为多模态数字表型用于基于多任务大语言模型的精神健康预测-计算机科学-多模态语音分析-多任务学习-大语言模型-心理健康预测.pdfVIP

语音作为多模态数字表型用于基于多任务大

语言模型的精神健康预测

1*1*23,45,63,5,6

MaiAli,ChristopherLucasius,TanmayP.Patel,MadisonAitken,JacobVorstman,PeterSzatmari,

61

MarcoBattaglia,DeepaKundur

1

2DivisionofEngineeringScience,UniversityofToronto,Toronto,Canada

3CundillCentreforChildandYouthDepression,CentreforAddictionandMentalHealth,Toronto,Canada

4DepartmentofPsychology,YorkUniversity,Toronto,Canada

本5TheHospitalforSickChildren,Toronto,ON,Canada

译6DepartmentofPsychiatry,UniversityofToronto,Toronto,Canada

中Emails:{maia.ali,christopher.lucasius,tanmay.patel}@mail.utoronto.ca

2aitken@yorku.ca,jacob.vorstman@sickkids.ca,{peter.szatmari,marco.battaglia}@utoronto.ca,dkundur@ece.utoronto.ca

v

2

2

8摘要—语音是一种非侵入性的数字表型，可以为心理健康抑郁通常在12至18岁之间出现，有20%的青少

3状况提供有价值的洞察，但通常被视为单一模态。相比之下，我年到18岁时经历过一次重性抑郁发作[3]。由生物和生

2

5.们提议将患者语音数据视为一种用于抑郁检测的三模态多媒体活方式因素驱动的睡眠障碍与抑郁症及自杀意念密切

0数据源。本研究探索了基于大型语言模型架构在多模态环境中相关。值得注意的是，睡眠剥夺独立增加了自杀倾向的

5进行语音为基础的抑郁预测潜力，该环境整合了从语音衍生出

2的文本、声学地标和声音生物标志物。青少年抑郁症是一个重风险，每少睡一小时就会使自杀念头增加11%[3]。鉴

:

v大的挑战，并且经常与其他多种疾病共病，如自杀意念和睡眠于这些状况之间的双向关系，在抑郁筛查中整合睡眠

i

x障碍。这为我们通过同时预测抑郁、自杀意念和睡眠障碍使用和自杀倾向评估可能会提高早期检测和干预的效果。

r

a多模态公式提供了将多任务学习（MTL）整合到研究中的额外

机会。我们还提出了一种纵向分析策略，该策略建模多个临床A.多模态人工智能驱动的心理健康护理的必要性

互动的时间变化，使得能够全面理解状况的发展进程。我们的

建议方法，具有三模态、纵向的多任务学习特性，在抑郁症早语音提供了一种非侵入性且令人惊讶的多模态来

期预警数据集上进行了评估。它实现了70.8%的平衡准确率，源，用于评估心理健康，允许提取语言（词汇选择、句

这高于每个单模态、单一任务和非纵向的方法。法）和副语言（语调、音高、节奏）特征[4]。研究表

IndexTerms—多模态语音分析，多任务学习，大型语言明，患有抑郁症和自杀倾向的个体表现出独特的语音

模型，心理健康预测特征，包括较慢的说话速度、较长的停顿以及增加的单