CN114332423B 虚拟现实手柄追踪方法、终端及计算可读存储介质 （深圳创维新世界科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114332423B(45)授权公告日2025.07.11

(21)申请号202111654472.5(56)对比文件

(22)申请日2021.12.30CN109375764A,2019.02.22CN113658278A,2021.11.16

(65)同一申请的已公布的文献号

审查员田小娟申请公布号CN114332423

审查员田小娟

(43)申请公布日2022.04.12

(73)专利权人深圳创维新世界科技有限公司地址518000广东省深圳市南山区粤海街

道高新南一道创维大厦A座701室

(72)发明人张毅

(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287

专利代理师黄廷山

(51)Int.CI.

G06T19/00(2011.01)

权利要求书2页说明书10页附图4页

(54)发明名称

虚拟现实手柄追踪方法、终端及计算可读存储介质

(57)摘要

CN114332423B本发明公开了一种虚拟现实手柄追踪方法、终端及计算可读存储介质，包括如下步骤：通过位于头显端的第一摄像装置获取多帧第一图像；根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；通过位于手柄端的第二摄像装置获取第二图像；提取第二图像中的第二特征点，并获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。通

CN114332423B

S10

S10

通过位于头显端的至少一个第一摄像装置获取多帧第一图像

S20

根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征

点：获取第一特征点在SLAM地图中的空间坐标信息

S30

通过位于手柄端的至少一个第二摄像装置获取第二图像

提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息

S50

结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息

S40

CN114332423B权利要求书1/2页

2

1.一种虚拟现实手柄追踪方法，其特征在于，包括如下步骤：

通过位于头显端的至少一个第一摄像装置获取多帧第一图像；

根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；在头显端设置多个第一摄像装置，且当第一摄像装置设置有多个时，多个第一摄像装置的拍摄方向分别朝向不同角度，利用多个第一摄像装置同步获取第一图像并进行图像信息共享，通过多个第一图像建立SLAM地图；

通过位于手柄端的至少一个第二摄像装置获取第二图像；

提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；

结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息；

在所述结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息的步骤后，还包括如下步骤：

通过位于手柄端的第二惯性测量单元获取第二IMU信息；

将手柄位姿信息与第二IMU信息进行融合运算处理，其中，手柄位姿信息与第二IMU信息之间的融合方式包括松耦合和紧耦合，松耦合将视觉传感器和IMU作为两个单独的模块，两个模块均可以计算得到位姿信息，然后通过EKF进行融合跟踪，得到中间数据的运动姿态；紧耦合则是指将视觉传感器和IMU得到的中间数据通过一个优化滤波器进行处理，紧耦合需要把图像特征加入到特征向量中，最终得到位姿信息的过程；

在所述提取第一图像中的第一特征点的步骤以及所述提取第