面向虚拟装配双手交互模式研究.docVIP

面向虚拟装配双手交互模式研究 　　摘 要：在虚拟环境中，虚拟手作为一个自然、直观的交互通道，其灵活逼真的交互动作是达到自然和谐高效的人机交互的关键。为仿真现实中双手工作方式，深入研究了双手交互的理论和实践，且深入探讨了双手交互模式描述的方式和手段。并在理论研究的基础上，在虚拟装配原型系统中验证了虚拟手双手协同完成装配任务。实践证明基于计算感知的虚拟手对增强虚拟装配的情景真实和工艺验证起到了很重要的作用，也具有较好的性能。?? 　　关键词：虚拟环境；人机交互；虚拟手；虚拟装配；双手交互?? 　　中图分类号：TP391.9 文献标识码：A 文章编号：1672-7800（2011）03-0051-03?お? 　　?? 　　基金项目：国家自然科学基金（600773046）?? 　　作者简介：方斌（1979-），男，安徽池州人，南京财经大学助理工程师，研究方向为人机交互技术；杨益平（1982-），男，安徽池洲人，硕士，中国船舶重工集团723研究所工程师，研究方向为计算机网络。 　　 　　0 引言?? 　　在现实生活中，手是人与外界交互的主要工具。在虚拟环境中，人们希望像现实世界一样来操纵虚拟物体。虚拟手作为一种直观的交互方式，便于用户自然、和谐、高效地操作，尤其是对人机交互有极高要求虚拟装配来说，需要虚拟手的介入来验证装配的切实可行性和符合工艺设计要求。?? 　　国外从1988年就开始了虚拟手的研究。Geneva大学的Thalmann M教授领导的MIRA实验室是研究人机交互和虚拟手的最著名的团队之一。他们提出了一种依赖关节的局部变形模型用于人手的动画和对象的抓取，接着又提出了一种基于DFFD的人手变形模型。Kunii等人提出了基于环流映射的人手和手臂模型，并以此为基础实现了几种较为真实的手势。?? 　　在双手操作方面，Guiard提出了运动链模型，对双手的逻辑分工作出了很好的定义和说明，且有一些分析和实验验证结果，对以后双手的非对称研究有很重要的借鉴意义。Buxton和Myers以实验验证了双手交互技术不仅对于新手来说很容易学习，还能提高用户操作的性能。Kabbash等人对优先手和非优先手在指和拖拽任务方面作了比较，表明两只手是互补的，每一个手都有其自身的强项和弱项。H. Sun等人设计了一个双手装配系统。在系统中，双手可以按照约定的约束条件协同完成一项装配任务。?? 　　1 双手交互的理论基础?? 　　双手交互的出发点是充分利用人在现实生活中习得的劳动技能和操作技巧，提高交互的自然性。跟单手操作相比，双手操作是面向用户的，不仅需要考虑功能的实现，更多地是需要从方便用户使用的角度考虑，其交互界面是“以用户为中心”的。?? 　　1.1 双手交互的行为学基础?? 　　手在现实生活中的应用无处不在，对于不同应用，可以将手部行为分成三类：第一类是单手行为，也就是利用一只手就可以实现操作，如使用鼠标等；第二类是双手的对称行为，也就是双手完成相同的操作，在任务中扮演同样的角色，如洗衣服等；第三类是双手的非对称行为，即双手完成不同的工作，在任务中扮演不同的角色，如打电话、倒茶等。?? 　　1.2 双手交互的心理学基础?? 　　除了符合人的行为学特点之外，双手交互方式同样也吻合了人的认知特点，使用这种方式和计算机交流时可以大大降低用户的认知负担。认知心理学认为，人们获得认知技巧的一个主要途径是把一些相关的基本任务组合成有意义的任务单元，在操作时以这个单元为操作对象而不去考虑单元内部的组织。?? 　　1.3 双手操作在人机交互中的应用特点?? 　　相对于单手操作，双手操作是一种全新的形式，不仅仅是输入通道上的增加，更重要的是要在界面中充分体现双手合作的特点，包括其中的事件类型和时间特征。?? 　　1.3.1 双手交互中的事件类型?? 　　为了把双手的动作映射为交互中的输入事件，用户经常需要使用各种交互设备，如三维鼠标、数据手套、跟踪器等。这些设备能够输出的事件类型是不一样的，有的只能输出离散事件，如键盘的按键信息；有的只能输出连续事件，如跟踪器的空间位置；还有的设备能够输出这两种事件，在这里称之为复合事件，如鼠标既可以移动输出连续事件，又可以按键输出离散事件。?? 　　1.3.2 双手交互的时间特征?? 　　在人机交互中，一个交互任务往往被划分成若干个子任务。在单手交互方式下，这些子任务都由一只手来完成，所以各个子任务只能是串行执行；而在双手交互方式下，这些子任务被自然地分配到两只手上，部分子任务甚至可以并行执行，这样就会大大提高用户的工作效率。?? 　　2 双手交互模式研究?? 　　作者认为双手模式研究，其一，是给出双手在自由态时的自然约束。比如，现实生活中，手可以在空间中自由地运动，但是要受到种种