草图理解系统及其关键技术研究.pdfVIP

摘 要 众所周知，正是图形用户界面技术使得计算机应用的普及成为现实，正如网络技术让 计算无处不在一样，随着计算机及网络技术的不断发展及其向人类工作和生活的不断渗 透，对用户界面的要求也越来越高，尤其需要实现以计算机系统为中心向以用户为中心的 交互模式转变，自然化、人性化、个性化、智能化成为这一领域的主导，多媒体、多通道 支撑下的感知用户界面 (PeceptualUserInterface)呼之欲出。笔式交互 (Pen-basedHuman ComputerInteraction)以模拟现实的纸和笔为目标，它通过将用户的交互意图映射为由压 力、方向、位置和旋转等信息组成的多维矢量序列拓宽了人机交互的频带，拥有强大的信 息表达能力，有利于创造性思想的快速表达、抽象思维的外化和自然交流，从而有效地改 善传统用户界面固有的缺陷。总之，笔式交互以其易用、自然、高效和利于创造性思维的 特性而成为感知用户界面中不可缺少的部分引起了学术界和产业界越来越多的兴趣。然 而，由于笔式交互具有输入随意性和语义模糊性，尤其是对于没有固定结构和模板的图形 输入及其过程 (也称为手绘草图，Sketching)而言，计算机的草图理解 (Sketching Understanding)能力成为笔式交互走向实用化的主要瓶颈，而成为用户界面领域的一个十 分重要的研究课题。 本文以笔式交互输入图形为对象，以支持UML构思设计为背景，以解决草图输入的 随意性和语义的模糊性为目标，从草图理解系统功能构架、草图图形表示、草图图形识别、 草图输入交互设计及草图方案解释等方面对草图理解进行了系统的研究和开发，设计并实 现了一个面向UML构思设计的草图理解原型系统SkechEI(FreehandSketchingSystemFor ExternalizingIdeas),重点研究并提出了草图识别的属性关系图表示方法及其匹配和剪枝策 略，对草图输入的交互方式和语义解释也进行了初步的研究。本文的主要贡献在于以下几 个方面: (I)草图理解系统功能构架的设计:对面向图标生成的草图输入原型系统Sketchpad 进行了拓展和修正，设计了面向构思设计的草图理解原型系统SketchEI，该系统以支持构 思的创造性思维为目的，以草图不同层次间的特征演化和映射来模拟草图理解过程，将系 统分成笔划识别、基本图形识别、几何结构识别、功能结构推理和草图方案解释等多个部 分。这为建立基于草图输入的智能化人机交互环境提供了框架。 (2)基于属性关系图的草图输入及其过程的统一特征表示:将构成基本图形、几何结 构等不同演化层次的草图特征的元素抽象成为属性关系图的节点，并将这些元素之间的拓 扑空间位置等关系抽象成为属性关系图的边，元素和它们之间关系的结构特征信息之外的 各种信息抽象表示为属性关系图的节点和边的属性，从而使得草图及其演化过程不同层次 具有统一的特征表示方法。这为建立面向草图理解全过程的系统模型奠定了基础。 (3)基于属性关系图的草图识别方法:本文基千草图识别本质上是不同演化层次特征 间映射的认识，采用属性关系图表示后的草图识别转化为属性关系图间的相似度计算，不 南京大学计算机科学与技术系硕士学位论文 万方数据 徐晓刚;草图理解系统及其关健技术研究 摘要 里里里里里巴巴巴巴巴巴巴巴巴巴弓 同层次的识别对应不同信息粒度的相似度计算。在属性关系图相似度计算过程中动态生成 匹配约束条件，并根据生成的匹配约束条件使用约束的部分枚举算法智能预测当前匹配状 态的后继有效的枚举状态以跳过无效的中间匹配状态，达到状态空间剪枝的目的。该方法 有效的降低了属性关系图匹配过程中状态搜索空间。这为建立面向草图理解全过程的系统 方法论奠定了基础。 (4)草图输入人机交互设计:在继承SmartSketchpad的实时反馈系统识别结果和智能 预测用户输入的草图形状的基础上，系统地设计了一套用于辅助编辑的手势集，用户使用 既定的手势集能够便捷地完成草图编辑操作，有效节省了用于草图绘制的时间和精力。 (5)基于XML表示的草图解释:设计了基于XML的草图描述模型，为草图语义解释 提供统一格式的草图表示方法，在此基础上，初步研究了面向UML构思设计的基于上下 文的草图语义解释方法，通过分析UML语义图符之间的空间位置关系进行语义推理获得 UML草图设计的语义解释。同时，这也为草图理解领域D