CN118737432B 基于多模态大模型的困境儿童依恋状态评估方法、装置 （中国科学院软件研究所）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118737432B(45)授权公告日2025.07.08

(21)申请号202410745472.3

(22)申请日2024.06.11

(65)同一申请的已公布的文献号申请公布号CN118737432A

(43)申请公布日2024.10.01

(73)专利权人中国科学院软件研究所

地址100190北京市海淀区中关村南四街4

号

(72)发明人宋祺陈辉谢旭荣

(74)专利代理机构北京市万慧达律师事务所

11111

专利代理师刘锋

(51)Int.CI.

G16H50/20(2018.01)

GO6F18/241(2023.01)

GO6F18/25(2023.01)

GO6F18/213(2023.01)

G16H10/20(2018.01)

GO6N3/0442(2023.01)

A61B5/16(2006.01)

(56)对比文件

CN116862287A,2023.10.10

审查员齐婷婷

权利要求书2页说明书7页附图3页

(54)发明名称

基于多模态大模型的困境儿童依恋状态评估方法、装置

(57)摘要

CN118737432B本发明涉及基于多模态大模型的困境儿童依恋状态评估方法、装置。评估方法包括：对话轮次切分步骤，对困境儿童与医生之间的对话轮次进行切分；特征提取步骤，提取视频、音频数据，并通过大语言模型进行数据融合，获得单轮对话的多模态融合特征或困境儿童依恋状态；依恋状态预测步骤，将多个多模态融合特征或困境儿童的依恋状态，输入基于多轮对话的困境儿童依恋状态评估模型中预测困境儿童依恋状态。本发明评估方法通过自动化的评估手段提升了评估效

CN118737432B

对话轮次切分步骤，通过自动化识别方法，对困境儿童与医生之间的对话轮次进行切分

特征提取步骤，从单轮对话数据中提取表情、

动作、声学、语言通道，并通过大语言模型

进行数据融合，获得基于单轮对话的多模态

融合特征或困境儿童的依恋状态

依恋状态预测步骤，将多个从单轮对话数据

获得的多模态融合特征或困境儿童的依恋状

态，输入基于多轮对话的困境儿童依恋状态

评估模型中预测困境儿童依恋状态

S102

S104

S106

CN118737432B权利要求书1/2页

2

1.一种基于多模态大模型的困境儿童依恋状态预测方法，包括：

通过自动化识别方法，对困境儿童与医生之间的对话轮次进行切分；

从单轮对话数据中提取表情、动作和声学通道作为输入，由预训练模型的隐藏层输出作为深度特征，通过Q-Former和多层感知机组成的神经网络，将深度特征投射到大语言模型所使用的词嵌入空间中形成词嵌入空间数据；通过语音识别模型获得当前轮次对话中的文本特征；将词嵌入空间数据、文本特征、当前轮次对话的元数据、要求大语言模型预测依恋状态的提示词，输入大语言模型，提取大语言模型的隐藏层特征作为单轮对话的多模态融合特征，输出结果作为单轮对话的困境儿童的依恋状态；

将多个所述多模态融合特征或困境儿童的依恋状态，输入基于多轮对话的困境儿童依恋状态评估模型中预测困境儿童依恋状态；

所述神经网络的训练方法为：

使用(I,t)带有标签的数据进行监督训练，(I,t)的内容为关于困境儿童的依恋的，将输入信息投射至依恋相关的词嵌入区域中，将I输入到所使用的预训练模型中，通过神经网络输入到大语言模型中生成文本；通过文本生成误差Lxt-ge更新神经网络的参数，更新公式：

argmin。txt-gen(LLM(P,◎(PT_model(I))),t)

I为视频或音频输入，t为文字描述，Θ为神经网络，LLM为大语言模型，P为提示词，PT_model为当前通道提取特征使用的预训练模型；

所述对困境儿童与医生之间的对话轮次进行切分，包括：

基于声纹分割聚类的说话人识别方法，切分医生与困境儿童对话的轮次；

所述将多个所述多模态融合特征或困境儿童的依恋状态，输入基于多轮对话的困境儿童依恋状态评估模型中预测困境儿童依恋状态，包括：

将多个通过多模态大模型所提取的单轮多模理解特征或结果，进行特征级或结果级融合，通过基于序列计算架构的深度学习模型预测困境儿童依恋状态。

2.根据权利要求1所述的基于多模态大模型的困境儿童依恋状态预