CN120236249A 一种多模态协同感知的电站高风险作业巡检方法及系统 （国能信控技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120236249A(43)申请公布日2025.07.01

(21)申请号202510726691.1

(22)申请日2025.06.03

GO6V10/80(2022.01)

GO6V40/20(2022.01)

G06T7/292(2017.01)

(71)申请人国能信控技术股份有限公司

地址102200北京市昌平区未来科技城英

才北二街9号国电新能源院301号楼6层618、619号房间

(72)发明人吉云张传升张城城董铖铖武芳彭闯闯李栋罗毅夫

(74)专利代理机构青岛高晓专利事务所(普通合伙)37104

专利代理师步丽丽

(51)Int.CI.

GO6V20/52(2022.01)

GO6V20/40(2022.01)

GO6V10/10(2022.01)

权利要求书3页说明书18页附图2页

(54)发明名称

一种多模态协同感知的电站高风险作业巡检方法及系统

(57)摘要

CN120236249A本申请提供了一种多模态协同感知的电站高风险作业巡检方法及系统，涉及视频识别技术领域，该方法包括：在电站作业任务启动后，激活无人机和四足机器人；启动视频采集单元，建立同步视频流；并通过外部同步信号与全局参考坐标系进行融合对齐；将融合视角的视频序列输入至多视角动作行为识别网络，建立危险行为等级评分；获取四足机器人的听觉数据和嗅觉数据，建立联动异常；根据联动异常、危险行为等级评分报出巡检异常。通过本申请解决了由于单一感知模态的局限性，在动态环境下难以全面识别潜在危险，导致巡检效率低下的技术问题，通过融合多模态数据，及时发现并处理潜在风险，提升

CN120236249A

在电站作业任务启动后，激活无人机和四足机

在电站作业任务启动后，激活无人机和四足机器人执行电站作业任务的协同路径追踪

启动无人机和四足机器人的视频采集单元，在协同路径追踪的过程中执行视频数据采集，建立同步视频流

在所述同步视频流进行时间戳锚定后，利用外部同步触发信号进行时间锚定的同步视频流时间对齐，并利用全局参考坐标系进行同步视频流的多视角对齐，输出融合视角的视频序列

将融合视角的视频序列输入至多视角动作行为识别网络，建立危险行为等级评分

获取四足机器人采集的听觉模态数据和嗅觉模态数据，利用所述听觉模态数据、嗅觉模态数据建立联动异常

根据所述联动异常、所述危险行为等级评分报出巡检异常

S100

S200

S500

S300

S400

S600

CN120236249A权利要求书1/3页

2

1.一种多模态协同感知的电站高风险作业巡检方法，其特征在于，包括：

在电站作业任务启动后，激活无人机和四足机器人执行电站作业任务的协同路径追踪；

启动无人机和四足机器人的视频采集单元，在协同路径追踪的过程中执行视频数据采集，建立同步视频流；

在所述同步视频流进行时间戳锚定后，利用外部同步触发信号进行时间锚定的同步视频流时间对齐，并利用全局参考坐标系进行同步视频流的多视角对齐，输出融合视角的视频序列；

将融合视角的视频序列输入至多视角动作行为识别网络，建立危险行为等级评分；

获取四足机器人采集的听觉模态数据和嗅觉模态数据，利用所述听觉模态数据、嗅觉模态数据建立联动异常；

根据所述联动异常、所述危险行为等级评分报出巡检异常。

2.如权利要求1所述的一种多模态协同感知的电站高风险作业巡检方法，其特征在于，所述将融合视角的视频序列输入至多视角动作行为识别网络，建立危险行为等级评分，包

括：

构建统一空间坐标系，将不同视角的视频序列进行图像特征提取后，投影至所述统一空间坐标系内；

调用多视角动作行为识别网络的场景骨架提取子通道，执行投影至统一空间坐标系的视频序列的特征置信度评价，构建锚定点集，以所述锚定点集生成稀疏点云；

调用多视角动作行为识别网络的密集深度估计层，执行投影至统一空间坐标系的视频序列的特征深度数据；

将所述稀疏点云投影至特征深度数据进行点-深融合，完成局部场景重建标注；

根据局部场景重建标注建立危险行为等级评分。

3.如权利要求2所述的一种多模态协同感知的电站高风险作业巡检方法，