CN112233149B 场景流的确定方法及装置、存储介质、电子装置 （浙江大华技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN112233149B(45)授权公告日2025.01.10

(21)申请号202011174348.4

(22)申请日2020.10.28

(65)同一申请的已公布的文献号申请公布号CN112233149A

(43)申请公布日2021.01.15

(73)专利权人浙江大华技术股份有限公司

地址310051浙江省杭州市滨江区滨安路

1187号

(72)发明人崔蝉婕任宇鹏卢维王晓鲁黄积晟

(74)专利代理机构北京康信知识产权代理有限

责任公司11240专利代理师赵静

(51)Int.CI.

GO6T7/269(2017.01)

G06T7/215(2017.01)

G06T7/579(2017.01)

G06T7/593(2017.01)

(56)对比文件

Wei-ChiuMa等.DeepRigidInstance

SceneFlow.《2019IEEE/CVFConferenceonComputerVisionandPatternRecognition》.2020,第3609-3617页.

审查员祁亚楠

权利要求书3页说明书11页附图5页

(54)发明名称

场景流的确定方法及装置、存储介质、电子

装置

(57)摘要

CN112233149B本发明实施例提供了一种场景流的确定方法及装置、存储介质、电子装置，该方法包括：确定获取的双目图像中的像素点的处理参数，其中，处理参数包括双目图像的实例分割结果、光流结果以及视差结果；基于处理参数确定双目图像的场景流能量函数；优化场景流能量函数，得到目标场景流能量函数；基于目标场景流能量函数确定双目图像中的像素点的场景流。通过本发明，解决了相关技术中求解能量函数的速度和精度不足的问题，达到提升求解复杂能量函数的求

CN112233149B

确定获取的双目图像中的像素点的处理参数

基于处理参数确定双目图像的场景流能量函数

优化场景流能量函数，得到目标场景流能量函数

基于目标场景流能量函数确定双目图像中的像素点的场景流

S202

S204

S206

S208

CN112233149B权利要求书1/3页

2

1.一种场景流的确定方法，其特征在于，包括：

确定获取的双目图像中的像素点的处理参数，其中，所述处理参数包括所述双目图像的实例分割结果、光流结果以及视差结果；

基于所述处理参数确定所述双目图像的场景流能量函数；

优化所述场景流能量函数，得到目标场景流能量函数；

基于所述目标场景流能量函数确定所述双目图像中的像素点的场景流；

其中，优化所述场景流能量函数，得到目标场景流能量函数，包括：利用长短期记忆LSTM网络优化所述场景流能量函数，得到所述得到目标场景流能量函数，其中，所述LSTM网络包括隐藏层LSTM和线性层；

利用长短期记忆LSTM网络优化所述场景流能量函数，得到所述目标场景流能量函数，包括：确定训练次数和展开次数，其中，所述训练次数用于表示更新所述LSTM网络的次数，所述展开次数用于表示更新旋转平移矩阵的次数；初始化所述LSTM网络，得到初始LSTM网络；在更新所述LSTM网络的次数小于所述训练次数，且更新旋转平移矩阵的次数小于所述展开次数的情况下，将读取的采样处理参数和初始旋转平移矩阵输入至所述初始LSTM网络中，以训练所述初始LSTM网络，得到所述得到目标场景流能量函数；

其中，基于所述处理参数确定所述双目图像的场景流能量函数，包括：利用所述实例分割结果、光流结果、视差结果以及旋转平移矩阵确定所述双目图像的光度误差约束项、刚性拟合约束项以及光流一致性约束项，其中，所述旋转平移矩阵是基于所述双目图像中的目标对象在相邻帧图像中的旋转平移量确定的；利用所述光度误差约束项、刚性拟合约束项以及光流一致性约束项确定所述双目图像的场景流能量函数。

2.根据权利要求1所述的方法，其特征在于，确定获取的双目图像中的像素点的处理参数，包括：

利用双目摄像设备获取所述双目图像，其中，所述双目图像包括第N帧左图和第N帧右图，其中，所述N是大于或等于1的自然数；

通过预设实例分割网络对所述双目图像进行实例分割，得到所述实例分割结果；

通过预设光流估计网络确定所述双目图像中的像素点在预设坐标系中的位移，得到所述光流结果；

通过预