CN114463406B 基于曼哈顿假设下室内环境的相机旋转估计方法 （北京工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114463406B(45)授权公告日2025.07.01

(21)申请号202210090415.7

(22)申请日2022.01.25

(65)同一申请的已公布的文献号申请公布号CN114463406A

(43)申请公布日2022.05.10

(73)专利权人北京工业大学

地址100124北京市朝阳区平乐园100号

(72)发明人王亮赵德运

(74)专利代理机构北京思海天达知识产权代理有限公司11203

专利代理师刘萍

(51)Int.CI.

GO6T7/579(2017.01)

(56)对比文件

CN107292956A,2017.10.24CN110782524A,2020.02.11审查员陈雪

权利要求书2页说明书4页附图2页

(54)发明名称

基于曼哈顿假设下室内环境的相机旋转估

开始输入深度图像和

开始

输入深度图像和RGB图像

深度图像

主导平面

曼哈顿结构

非线性优化

输出相机坐标

结束

RGB图像

直线

(57)摘要

一种基于曼哈顿结构假设下室内场景中相机旋转运动估计的方法，属于计算机视觉领域，本发明(1)采用新的方法来进行平面拟合，从室内环境深度图片的三维点云数据中随机选取三个点生成平面模型，通过对模型进行顺序概率比测试和L0-RANSAC优化，得到精确的主导平面；

B(2)从RGB图片中检测直线，将直线投影到高斯球面上，得到投影后的大圆及大圆的法向量，同时将主导平面也以法向量的形式投影到高斯球面上，并与直线投影的法向量做叉乘，以此来确定曼哈顿坐标系的结构；(3)提出了一个代价函数，对曼哈顿坐标系的结构进行优化，得到更稳定准

B

114463406CN

114463406

CN

CN114463406B权利要求书1/2页

2

1.一种基于曼哈顿假设下室内环境中相机旋转估计方法，其特征在于，包括以下步骤：

步骤1:主导平面的检测：对室内环境深度图像的点云数据做平面拟合，检测出最多数据点支持的平面模型，将平面以法向量的形式投影到高斯球面上，平面的法向量作为曼哈顿坐标系的一个坐标轴，采用MeanShift算法在整个过程中持续跟踪主导平面的法向量；

步骤2:在高斯球面上计算曼哈顿坐标系的正交方向；使用LSD算法对RGB图像做直线检测，将直线投影到高斯球面上得到一个圆，用圆的法向量V0与步骤1中主导平面的法向量VP1做叉乘，得到第二个坐标轴VP3,将得到的两个坐标轴再做向量叉乘得到第三个坐标轴VP2;

步骤3:利用代价函数进行非线性优化；提出一个代价函数对曼哈顿坐标系的估计结果进行优化，利用Levenberg-Marquardt算法最小化代价函数从而得到最大的一致线集；

步骤4:利用旋转矩阵求解相机旋转；曼哈顿坐标系一旦确定就保持不变，在每一帧中求解出相机坐标系相对于曼哈顿坐标系之间的旋转矩阵，从而解出相机坐标系相对于世界坐标系的旋转；

步骤3具体步骤如下：代价函数包含三个要素：线段端点与消失点之间的平均正交距离

di,k、消失点与线段中点距离d、间的平均正交距离为；

di,k=(d,1+di,2)/2

其中，d,1为；

线段长度1;图像平面上第i条线段端点d?、d?与消失点之

(2)

(3)

其中，A,?、B?C,,为消失点与直线终点所构成直线方程的系数；d12与d,,计算方式相同，提出如下的代价函数；

其中，@?、①?和@3分别为0.8、0.1和0.1;其中N是分别与VP2和VP3相关联的线段个数，其中k∈{2,3};d,是第i条线段与第k个对应消失点的平均正交距离；t为一像素点；d是消失点与直线中点的距离，1为第i条与消失点相关联的线段长度，max(1)是N条线段中长度最大的值；使用Levenberg-Marquardt算法求解使代价函数最小时的最大一致线集。

2.根据权利要求1所述的一种基于曼哈顿假设下室内环境中相机旋转估计方法，其特征在于，步骤1中所述的主导平面检测，具体步骤如下：

对输入深度图像的点云数据进行平面拟合，首先随机选取三个点作为样本，首先确保随机选取的三个点不共线，代入平面的空间方程确定系数，我们对暂定的平面模型进行顺序概率比测试；

(1)

其中，λ为所有数据的计算结果，n为所有数据点的个数，p(x|H)为第x个数据点