人机交互第4章_交互技术.ppt

WIMP界面 WIMP-窗口（Windows），图标（Icons），菜单（Menus),指点设备（Pointings) 三维交互技术 面临问题 三维交互技术采用六自由度输入设备。所谓六自由度，指沿三维空间X、Y、Z轴平移和绕X、Y、Z轴旋转，而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度(沿平面X、Y轴平移)。 窗口、菜单、图符和传统的二维光标在三维交互环境中会破坏空间感，用户难以区分屏幕上光标选择到对象的深度值和其他显示对象的深度值，使交互过程非常不自然。 三维交互技术 直接操作 三维光标必须有深度感，即必须考虑光标与观察者距离，离观察者近的时候较大，离观察者远的时候较小。 为保持三维用户界面的空间感，光标在遇到物体时不能进入到或穿过物体内部。 为了增加额外的深度线索，辅助三维对象的选择，可以采用半透明三维光标。 三维光标可以是人手的三维模型 Ps:三维互动触摸展示 三维交互技术 三维Widgets 三维交互界面中的一些小工具 三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。 1992年美国Brown大学计算机系提出三维Widget设计原则 三维Widget的几何形状应能表示其用途（eg:一个用来扭曲物体的Widget，最好本身就是一个扭曲的物体） 适当选择Widget控制的自由度－由于三维空间有六个自由度，有时会使三维交互操作变得过于复杂，因此在用户使用某种Widget时，可以固定或者自动计算某些自由度的值 根据三维用户界面的用途确定Widget的功能。例如，用于艺术和娱乐的三维用户界面的Widget，只要能够完成使画面看起来像的操作就可以了，而用于工业设计和制造的用户界面，则必须保证交互操作参数的精确性。 三维交互技术 三视图输入 用二维输入设备在一定程度上实现三维的输入。 如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点； 把直线段上两端点在三视图上输入后便可决定三维空间的一条直线； 把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面； 如果把一个多面体上的各面均用上述方法输入， 也就在三维空间中输入了一个多面体。 Ps: 3D 语音识别（Speech Recognition）是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等。 一个完整的语音识别系统大致可分为语音特征提取，声学模型与模式匹配，以及语言模型与语义理解三部分。 语音特征提取 从语音信号中提取语音的特征，既可以获得语音的本质特征, 也起到数据压缩的作用。 输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。 声学模型 声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。 目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模。 语言模型与语义理解 计算机对识别记过进行语法、语义分析，理解语言做出反应。 语言模型计算音节到字的概率 笔式输入具有连续性、使用笔的连续线条绘制可以产生字符、手势或者图形等特点。其优点是便于携带，输入带宽信息量大，输入延迟小；其缺点是翻译困难，再现精度低。 手写识别技术是笔交互中的一种基本技术，目前已经嵌入到各种设备中，得到广泛应用。 数字墨水技术 联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析 汉字 手写 输入板 预处理 模式表达 （特征提取） 判别 （分类或句法分析） 字典 （特征模板集合或句法规则集合） 汉字代码 脱机手写识别比印刷体汉字识别、联机手写体识别都要困难。 脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。 细化会损失一些信息，并且不可能得到时间顺序信息。 脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。 数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。这种存储方式使得数字墨水文件很小，从而可以更有效地进行存储。 数字墨水的处理包括数字墨水的表示、压缩和显示，智能的墨水分析技术，墨水标记和注解技术，墨水的智能操作以及墨水存储和搜索等一系列有关技术。 当前，微软已实现了数字墨水技术对英文、德文、法文、韩文、日文、简体和繁体中文等语言的支持。Windows XP Tablet PC Edition拥有强大而简单的数字化墨水控件和API，方便软件开发商将笔墨功能扩展到其现有和即将推出的软件中，就如同集成目前的键盘和鼠标一样简单