虚拟现实与增强现实下基于手势交互的文本输入技术研究.pdf

摘要

虚拟现实与增强现实下基于手势交互的文本输入技术研究

随着虚拟现实和增强现实技术的逐步发展以及各大科技公司和公众的兴趣

增加，目前两种沉浸式交互方式已经应用于游戏、教育和医学等多方面领域。文

本输入作为使用中最基本的交互操作，用户通常用于输入账号密码登录系统，在

游戏过程中与玩家交流，或是对文档内容进行编辑。虽然针对两种环境下的文本

输入方式存在大量研究，但在效率和可用性方面仍然有着改进空间。目前虚拟现

实环境下主流的文本输入方式aim-and-shoot，需要用户移动控制器手柄射出的激

光在虚拟键盘上逐个字母选择，操作繁琐且效率低，同时手臂长时间的悬空移动

很容易就导致疲劳，并不适合长时间输入的场景。而增强现实环境下主流的点击

输入方式同样对身体有着较高负荷，此外虚拟键盘占用了屏幕中心大部分的区域，

遮挡了物理环境并限制了用户对周围环境的感知。

为解决两种环境中文本输入所存在的问题，本文提出了两种单词级的文本输

入技术RelativeSwipe和ImaginarySwipe。RelativeSwipe方式旨在解决虚拟现实

环境中输入效率低和可用性差的问题，用户在控制器手柄触摸板上，根据目标单

词中两两字母的相对位置绘制出对应方向直线形成手势。系统识别手势给出候选

词列表，用户可使用六字母组消歧方式对候选词进行筛选，从而快速选择目标单

词。该方式不受手势绘制规模和位置影响，用户不需要将手指放置在特定的位置

上，可以在触摸板的任意地方绘制任意大小的手势。其次，该方式保留了手势输

入的优点，用户可以从依赖虚拟键盘的视觉引导逐渐过渡到直接回忆手势。

ImaginarySwipe方式旨在解决增强现实环境中输入效率低和环境遮挡的问题，用

户想象身前的透明方框为一个不可见的键盘，手指依次穿过单词中字母所对应的

位置，抬起手指结束输入。对用户所绘制的手势基于SHARK2算法在形状和绝对

位置上与模板匹配给出候选词，用户可点击候选词直接替换已输入的内容。该方

式同样具备手势输入的优点，并且一个连续笔画的输入相比逐个字母点击对身体

I

负荷更小。其次，键盘内并无字母按键的遮挡，用户可无阻碍地观察周围环境。

完成两者的设计之后，本文依据文本输入性能评估的指导原则，对两种方式

在输入速度、错误率以及交互体验方面进行了实验评估。实验结果表明，

RelativeSwipe方式输入速度可以达到19.90WPM(WordsPerMinute)，超过aim-

and-shoot方式6.99WPM。其次，从用户的主观反馈看来，该方式对身体的需求

显著降低。ImaginarySwipe方式输入速度可达到16.95WPM，超过点击输入

6.92WPM，同时在身体需求以及时间需求上有着明显优势。实验结果对虚拟现实

和增强现实环境中的文本输入技术具有一定的参考意义。

关键词：

虚拟现实，增强现实，手势输入，假想键盘

II

Abstract

ResearchonTextEntryTechnologyBasedonGestureInteractionin

VirtualRealityandAugmentedReality

Withthegradualdevelopmentofvirtualrealityandaugmentedreality

technologiesandtheincreasedinterestofmajortechnologycompaniesandthepublic,

twotypesofimmersiveinteractionarenowusedinvariousfieldssuchasgaming,

educationandmedi