TGH中的多通道交互.doc

手持移动计算中的多通道交互(? 王 悦+, 岳玮宁, 王 衡, 董士海 (北京大学 计算机科学技术系,北京 100871) Multi-Modal Interaction in Handheld Mobile Computing WANG Yue+, YUE Wei-Ning, WANG Heng, DONG Shi-Hai (Department of Computer Science and Technology, Peking University, Beijing 100871, China) + Corresponding author: Phn: +86-10 E-mail: wangyue@, Received 2003-07-07; Accepted 2004-07-27 Wang Y, Yue WN, Wang H, Dong SH. Multi-Modal interaction in handheld mobile computing. Journal of Software, 2005,16(1):29?36. /1000-9825/16/29.htm Abstract: Handheld mobile computing has increasingly become a mainstream computing paradigm, in which human-computer interaction is an essential issue. Multi-Modal user interface and multi-modal interaction can effectively improve the interaction efficiency in mobile computing. This paper presents a multi-modal interaction model and discusses the application of multi-modal interaction in handheld devices. Then the tour guide system is described. An experimental evaluation shows that the multi-modal interaction, based on pen and speech, can greatly improve its interaction. Key words: mobile computing; multi-modal user interface; multi-modal interaction; speech; tour guide 摘 要: 手持移动计算已逐渐成为当今主流的计算模式之一,人机交互是其中的关键问题.多通道用户界面和多通道交互方式能够有效地提高移动环境中人机交互的效率.讨论了移动环境中的多通道交互模型,并结合设计开发的移动导游系统TGH(tour guide on hand),分析了多通道交互在手持移动计算中的应用.性能测试表明,笔和语音结合的多通道交互方式在移动环境中能够较好地提高人机交互效率. 关键词: 手持移动计算;多通道用户界面;多通道交互;语音;导游系统 中图法分类号: TP302　　　文献标识码: A 从20世纪90年代初至今,以手机、PDA和掌上电脑为代表的手持移动设备得到了日益广泛的用,手持移动计算已经逐渐成为当今的主流计算模式之一.随着移动设备自身软硬件性能的提高和网络覆盖率、带宽等外部条件的改善,人机交互的效率和自然性不高的问题暴露越来越明显,受到了越来越多学者和普通用户的关注.认为,人机交互的效率和自然性已经成为移动计算普及和应用中最为核心的问题之一. 手持设备自身的物理特征决定了纯粹基于WIMP界面(即以窗口、图标、菜单和指点工具为基础的界面)的交互方式很难在移动计算环境中取得良好的效果.信息输入效率,过小的屏幕给信息的呈现造成了困难.与交互效率降低并存的自然性的,用户指点在过小的屏幕上进行点击、选择等精确操作增加了认知负担,从而容易导致用户的厌烦心理.提高移动系统人机交互的效率和自然性,是. 多通道交互提高交互效率和自然性的有效途径[],比传统GUI界面适用于更多领域的应用程序以及更广泛的用户群[2].它允许用户通过各种自然的交互手段,如语音、手写等,与计算机系统进行交互,从而克服传统交互工具缺失引起的问题.同时,多通道交互能够有效扩大信息交换的带宽,从而达到提高交互效率的目的;并可发挥人机之间彼此不同的认知潜力,降低用户的认知负荷用户通过各种不同的交互通道以及它们之间