CN115170870B 基于深度学习的婴儿行为特征分类方法和系统 （苏州体素信息科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115170870B(45)授权公告日2025.07.08

(21)申请号202210711384.2

(22)申请日2022.06.22

(65)同一申请的已公布的文献号申请公布号CN115170870A

(43)申请公布日2022.10.11

(73)专利权人苏州体素信息科技有限公司

地址215600江苏省苏州市保税区华达路

36号新兴产业育成中心A栋217室专利权人上海市儿童医院

(72)发明人陈勇维于广军田园章春草王莎莎王子龙丁晓伟

(74)专利代理机构上海锻创知识产权代理有限公司31448

专利代理师陈少凌

(51)Int.CI.

GO6V10/764(2022.01)GO6V20/40(2022.01)

GO6V40/20(2022.01)GO6N3/0499(2023.01)GO6N3/084(2023.01)

(56)对比文件

A,2021.11.12A1,2021.12.16CN

A,2021.11.12

A1,2021.12.16

WO2021248814

审查员王垚

权利要求书3页说明书8页附图1页

(54)发明名称

基于深度学习的婴儿行为特征分类方法和系统

(57)摘要

CN115170870B本发明提供了一种基于深度学习的婴儿行为特征分类方法和系统，包括：步骤1:制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；步骤2:制作婴儿关键点数据集；步骤3:对婴儿视频数据集的人体关键点进行预处理；步骤4:使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；步骤5:根据分类分支的分类概率判断该视频是否存在不安运动，得到视频存在不安运动的时间片段。本发明可检测婴儿是否缺乏不安

CN115170870B

开始

开始

制作并标注婴儿视频数据集

微调婴儿关键点检测模型

提取视频所有帧的人体关键点

人体关键点的预处理和特征计算

训练婴儿行为分类模型

对待分类视频进行预测

结束

CN115170870B权利要求书1/3页

2

1.一种基于深度学习的婴儿行为特征分类方法，其特征在于，包括：

步骤1:使用RGB摄像机拍摄婴儿的运动视频，制作婴儿视频数据集，并对数据集中的视频进行分类和时间片段标注；

步骤2:制作婴儿关键点数据集，在婴儿数据上微调婴儿关键点检测模型，并用该模型对婴儿视频数据集的每帧图像预测人体关键点；

步骤3:对婴儿视频数据集的人体关键点进行预处理，计算人体关键点的特征，然后对标注的时间片段进行归一化处理；

步骤4:使用深度学习模型搭建婴儿行为分类模型，将婴儿视频数据集的人体关键点特征送入到婴儿行为分类模型，计算模型输出分类概率、输出时间片段与标签间的总损失，其中总损失包括分类损失和定位损失，使用总损失进行反向传播来更新模型参数，待模型参数收敛后完成训练；

步骤5:将待预测的婴儿视频经过婴儿关键点检测模型，最后由婴儿行为分类模型输出分类概率和时间片段，根据分类分支的分类概率判断该视频是否存在不安运动，对于被模型判断为存在不安运动的视频，根据定位分支的输出，得到视频存在不安运动的时间片段；

所述步骤2包括：

步骤2.1:收集婴儿图像，包括从互联网收集公开的婴儿视频和图像，以及用摄像机采集婴儿视频，从视频中随机抽样出图像帧；

步骤2.2:对婴儿图像标注人体关键点坐标，将所有婴儿图像及其关键点的标注信息构成婴儿关键点数据集；

步骤2.3:使用LightweightOpenPose人体关键点检测模型，把在成人数据上预训练的模型在婴儿关键点数据集上微调，得到婴儿关键点检测模型；

步骤2.4:使用婴儿关键点检测模型对婴儿视频数据集的每帧图像的人体关键点进行预测；

所述步骤4包括：

步骤4.1:搭建婴儿行为分类模型，模型骨干网络使用MS-G3D,后接两个全连接层分支，一个全连接分支输出分类的概率，另一个分支输出20个值，分别为10个时间片段的开始和结束的时间；

步骤4.2:将人体关键点特征输入到婴儿行为分类模型；

步骤4.3:计算模型的分类损失，根据分类概率判断输