CN114170325B 确定单应性矩阵的方法、装置、介质、设备和程序产品 （北京地平线信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114170325B(45)授权公告日2025.07.01

(21)申请号202111526426.7

(22)申请日2021.12.14

(65)同一申请的已公布的文献号申请公布号CN114170325A

(43)申请公布日2022.03.11

(73)专利权人北京地平线信息技术有限公司

地址100094北京市海淀区丰豪东路9号院

2号楼3层1单元301

(72)发明人隋伟张家馨张骞路娇

(74)专利代理机构北京思源智汇知识产权代理有限公司11657

专利代理师毛丽琴

(51)Int.CI.

GO6T7/80(2017.01)

GO6N3/04(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN112381868A,2021.02.19

CN113592706A,2021.11.02

CN111325792A,2020.06.23

审查员魏旭阳

权利要求书3页说明书13页附图7页

(54)发明名称

获取相机拍摄的第一图像帧和第二图像帧利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计

获取相机拍摄的第一图像帧和第二图像帧

利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计

基于第一图像帧，确定目标路面的平面方程

基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵

210

220

230

240

(57)摘要

CN114170325B公开了一种确定路面的单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品，其中，方法包括：获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；基于第一图像帧，确定目标路面的平面方程；基于帧间里程计、平面方程和预存的相机内参，确定目

CN114170325B

CN114170325B权利要求书1/3页

2

1.一种确定单应性矩阵的方法，包括：

获取相机拍摄的第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧具有相同区域的目标路面；

利用神经网络模型对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计；基于所述第一图像帧，确定所述目标路面的平面方程；

基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵；

其中，确定帧间里程计，包括：通过语义分割，预测所述第一图像帧和所述第二图像帧中各像素点的语义标签，并基于各像素点的语义标签预测所述第一图像帧和所述第二图像帧中包括的各对象的中心点的二维坐标；基于各像素点的语义标签与各对象的中心点的二维坐标分别预测所述第一图像帧和所述第二图像帧中各对象的三维姿态；基于所述第一图像帧和所述第二图像帧中同一对象的三维姿态，确定所述第一图像帧和所述第二图像帧的帧间里程计。

2.根据权利要求1所述的方法，其中，基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵，包括：

基于所述平面方程，确定所述相机的当前高度以及所述目标路面的当前法向量；

基于所述帧间里程计，确定帧间旋转矩阵和帧间平移向量；

基于所述当前法向量和所述帧间平移向量的乘积、与所述当前高度的比值，确定第一矩阵；

基于所述帧间旋转矩阵和所述第一矩阵的差值，确定第二矩阵；

基于所述第二矩阵、所述相机内参和所述相机内参的逆矩阵，确定所述目标路面的单应性矩阵。

3.根据权利要求1或2所述的方法，其中，所述神经网络模型包括第一网络分支；

对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计，包括：

利用所述第一网络分支，对所述第一图像帧和所述第二图像帧编码，得到特征向量；

对所述特征向量解码，得到所述帧间里程计。

4.根据权利要求1或2所述的方法，其中，所述神经网络模型包括第二网络分支；

基于所述第一图像帧，确定所述目标路面的平面方程，包括：

利用所述第二网络分支对所述第一图像帧进行处理，确定所述目标路面的路面偏移量；

基于预存的所述目标路面的初始法向量、所述路面偏移量以及预存的所述相机的初始高度，确定所述目标路面的平面方程。

5.根据权利要求4所述的方法，其中，利用所述第二网络分支对所述第一