结合深度信息计算的AR全息3D键盘交互方法研究.pdfVIP

摘要

摘要

用于增强现实(AugmentedReality,AR)的现代头戴式显示器(HelmetMounted

Display,HMD)得益于重量和尺寸方面的减少正变得越来越实用，并且在显示和计

算能力方面有了显著提高。如今，它们已被广泛用于各行各业。尽管如此，在AR

HMD上高效打字（或文本输入）仍然是众所周知的挑战，显然传统的AR键盘已

经不能满足用户对高效文本输入的需求。

本文介绍了一种创新的智能增强现实(AugmentedReality,AR)键盘，名为眼手

键盘。本文利用眼睛注视的速度优势，使用基于注视点信息的贝叶斯预测模型来

推断用户的文本输入意图，从而提高用户在AR键盘上的输入速度和准确率。该

方法巧妙地融合了眼睛和手指的输入方式，实现了多模态输入，为用户提供了更

高效、准确和愉悦的文本输入体验。

本文首先进行了一项前置研究，设计并开发了一套基于眼睛凝视的AR跨现

实控制系统，并通过用户实验验证了其可行性。该研究探索了眼睛凝视交互在AR

HMD上的可能性和潜力，为本文的核心结合眼睛凝视的AR键盘交互研究提供了

理论依据和现实基础。

在不改变用户输入习惯的情况下，本研究充分利用了眼睛的速度和手指的精

细控制，并基于贝叶斯算法改进了AR键盘的底层算法，从而提高了用户的文本

输入速度和准确性。在实时应用中，当用户的注视点在键盘上时，贝叶斯预测模

型可以基于凝视点的位置和输入历史来预测用户将输入的最可能的字符。该系统

可以根据预测结果放大和突出显示推荐的按键，从而提高用户输入效率。

为验证眼手键盘的有效性，本文进行了一项由22名用户参与的评估研究。结

果显示，与传统AR键盘（凝视停留技术）相比，眼手键盘将输入错误率降低了

28.31%（43.05%），并将文本输入速度提高了14.5%（39.55%）。这表明，通过结

合眼睛凝视和手指输入，本文成功地提高了用户在AR键盘上的打字效率。主观

评估的结果显示，用户们对眼手键盘表现出明显的喜爱和偏好，这进一步证明了

该方法的可接受性和用户友好性。

总之，使用凝视辅助技术的眼手键盘是一种创新且有效的AR文本输入解决

方案，可在各种AR场景中改善用户的交互体验，在ARHMD中具有广阔的应用

前景。

关键词：增强现实，多模态文本输入，眼手交互，贝叶斯过程，菲茨定律

I

ABSTRACT

ABSTRACT

Modernhead-mounteddisplays(HMDs)foraugmentedreality(AR)havebecome

increasinglymorepracticalduetoareductionintheirweightandsize,aswellassignificant

improvementsintheirdisplayandcomputingpower.Nowadays,theyarewidelyused

usedinvariousindustries.However,efficienttyping(ortextinput)onARHMDremains

awell-knownchallenge,anditisevidentthattraditionalARkeyboardscannolongermeet

theneedsofusersforefficienttextinput.

ThisarticleintroducesaninnovativeIntelligentAugmentedReality(AR)keyboard

calledEyeHandKeyboard.Thisarticleutilizethespeedadvantageofeyegazeandusea

Bayesianpredictionmodelbasedongazepointinformationtoinfertheuser’stextinput

intention,therebyimprovingtheu