CN119832527B 基于st-gcn的轨道交通驾驶员操作规范性监测方法及装置 （天津致新轨道交通运营有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119832527B(45)授权公告日2025.07.08

(21)申请号202411894836.0

(22)申请日2024.12.20

(65)同一申请的已公布的文献号申请公布号CN119832527A

(43)申请公布日2025.04.15

(73)专利权人天津致新轨道交通运营有限公司地址300392天津市滨海新区华苑产业区

开华道3号509-2

(72)发明人韩骁王3琮潘喜军王英男

范博学宁博罗会敏聂为之

(74)专利代理机构北京佳识得知识产权代理有限公司16299

专利代理师王艳

(51)Int.CI.

GO6V20/59(2022.01)

GO6V40/20(2022.01)

GO6V10/44(2022.01)

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6N3/042(2023.01)

(56)对比文件

CN114863325A,2022.08.05CN101714213A,2010.05.26

审查员樊巍

权利要求书2页说明书12页附图3页

(54)发明名称

基于ST-GCN的轨道交通驾驶员操作规范性监测方法及装置

(57)摘要

CN119832527B本发明涉及事件检测和行为规范监督技术领域，公开了一种基于改进ST-GCN模型的轨道交通驾驶员操作规范性监测方法及装置，所述方法包括：确定城市轨道交通列车驾驶员启停过程中涉及的多种关键规范操作，并预先标定各关键规范操作对应的关键关节点；在车内外环境中采集驾驶员执行所述多种关键规范操作的视频数据，并对视频数据中驾驶员操作行为的合规性进行评估和标注；构建基于动态拓扑和领域先验融合层的ST-GCN模型并利用评估和标注后的视频数据对模型进行训练；利用训练好的基于动态拓扑和领域先验融合的ST-GCN模型实时监测驾驶员操作，输出预测结果。该装置以及方法能够提升

CN119832527B

100

100

S110

在车内外环境中采集驾驶员执行所迷多种关键规范操作的视频数据，并对视频数据中驾驶员操作行为的合规性进行评估和标注

构建基于动态拓扑和领域先验融合层的ST-GCN模型并利用评估和标注后的视频数据对模型进行训练

利用训练好的基于动态拓扑和领域先验融合的ST-GCN模型实时监测驾驶员操作，榆出预测结果

S120

S140

CN119832527B权利要求书1/2页

2

1.一种基于改进ST-GCN模型的轨道交通驾驶员操作规范性监测方法，其特征在于，包

括：

确定城市轨道交通列车驾驶员启停过程中涉及的多种关键规范操作，并预先标定各关键规范操作对应的关键关节点；

在车内外环境中采集驾驶员执行所述多种关键规范操作的视频数据，并对视频数据中驾驶员操作行为的合规性进行评估和标注；

构建基于动态拓扑和领域先验融合层的ST-GCN模型并利用评估和标注后的视频数据对模型进行训练，包括：

对所述评估和标注后的视频数据进行人体姿态估计和骨架数据提取，其中，骨架数据包括关键关节点坐标及相应的关节点置信度；

根据关节点置信度与领域先验知识利用关节可信度加权模块对各关节点权重进行动态调整，得到加权后的骨骼序列；

将所述加权后的骨骼序列输入ST-GCN模型进行训练，包括：

对所述加权后的骨骼序列进行域自适应性骨架归一化处理，以驾驶员体型参数为依据调整骨架比例，得到标准化骨骼序列；

将归一化处理后的标准化骨骼序列输入ST-GCN模型进行特征提取，在ST-GCN特征提取过程中，通过可学习的动态拓扑机制，根据当前时序片段及候选操作类型自适应调整关节点连通关系，在中间层嵌入领域先验融合层，将归一化处理后的标准化骨骼序列与规范操作先验矢量融合，引导特征贴近轨道交通领域的标准操作模式；其中，在ST-GCN的9个卷积块中，每个卷积块后均保留残差学习结构，并在部分块间插入动态拓扑与领域先验融合层，以动态优化特征提取；

最终通过SoftMax函数计算输入活动属于特定规范操作的概率，与标签真值计算损失，完成模型训练；

其中，所述对所述评估和标注后的视频数据进行人体姿态估计和骨架数据提取包括：

使用OpenCV将所述评估和标