CN111580677B 一种人机交互方法及人机交互系统 （深圳布莱克实验室科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN111580677B(45)授权公告日2025.01.10

(21)申请号202010437004.1

(22)申请日2020.05.21

(65)同一申请的已公布的文献号申请公布号CN111580677A

(43)申请公布日2020.08.25

(73)专利权人深圳布莱克实验室科技有限公司地址518000广东省深圳市宝安区新安街

道大浪社区新安三路一巷24号汇聚宝安湾智创园B、C栋C栋5层

(72)发明人赵湘涛

(74)专利代理机构深圳中一联合知识产权代理有限公司44414

专利代理师何丹灵

(51)Int.CI.

GO6F3/01(2006.01)

G06T19/00(2011.01)

(56)对比文件

CN

CN

CN

CN

102156859

108958479

108459702

107533230

A,2011.08.17

A,2018.12.07

A,2018.08.28

A,2018.01.02

审查员李雪驹

权利要求书3页说明书9页附图7页

(54)发明名称

一种人机交互方法及人机交互系统

(57)摘要

CN111580677B本发明公开一种人机交互方法即人机交互系统，所述交互方法包括：获取用户手部的定位信息和手势信息；根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；根据获取的所述手势信息确定对应的交互操作方式；执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。应用本发明的技术方案，解决现有交互手柄按钮不足而不能实现用户需要的更多交

CN111580677B

预先设置手势信息与交互操作方式的映射关系

获取用户手部的定位信息和手势信息

根据获取的定位信息，确定虚拟现实显

示设备显示内容中虚拟操作手的待操作

内容

根据获取的手势信息，确定出所述手势信息确定对应的交互操作方式

执行并响应所述虚拟操作手按照所述交

互操作方式对所述待操作内容的触发操

作

S100

S101

S102

S103

S104

CN111580677B权利要求书1/3页

2

1.一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，其特征在于，包括：

获取用户手部的定位信息和手势信息；

根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；

根据获取的所述手势信息确定对应的交互操作方式；

执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作；

所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：

通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，

通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息；

所述获取用户手部的手势信息的步骤，具体包括：

通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；

通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息；

所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；确定所述待操作位置对应的待操作内容；

其中，通过如卡尔曼滤波之类的融合算法计算出用户手部的六自由度信息，并将该六自由度信息实时输入到内容平台，并最终呈现到虚拟现实显示设备显示内容中；然后再根据预先设定的位置信息关系，便可确定出显示内容中虚拟操作手的待操作位置以及待操作内容。

2.根据权利要求1所述的人机交互方法，其特征在于，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：

根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，

根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。

3.根据权利要求1所述的人机交互方法，其特征在于，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设