主流多点触控技术应用的设计与实现摘要.docVIP

主流多点触控技术应用的设计与实现 摘要 与传统的鼠标、键盘的输入方式相比，多点触摸技术是一种更加自然和谐的人机交互方式。这种技术最突出的特点是用户可以不借助任何外部设备直接在显示屏幕上进行操作，是一种真正的所见即所得的非常自然的人机交互方式，多个用户可以同时与计算机进行交互，而且各个用户之间并不相互影响，系统甚至还可以识别用户的触摸姿态和手势。然而，在传统的基于触摸屏的触摸控制解决方案中，大多都只是考虑用手指取代鼠标的作用，即一般只考虑单点触控的应用情况。故多点触控技术的到来，将对人机交互技术带来巨大的影响，而其也将成为近年内人机交互技术的主流之一。 追踪是多点触摸控常重要的技术。它允许多个手指同时进行控制。我们也可以识别出手势，因为每个手指的轨迹都可以被记录并输出。没有追踪技术，这是不可能的。 今天的多点触控硬件大大地简化了多点触控技术中追踪对象的流程，开发者可以从硬件直接获取触点的相关信息。 此外，只要给出范围，那么追踪问题就比较简单了。我们知道，从一帧到下一帧，以标准的30Hz计算的话为33ms，一个人的手指在这段时间里移动的距离常常有限。根据这种预测，我们不用研究物体的动力学，只需要找两帧之间最近的匹配物就是了。近邻比较的方式是比较相应的数据，一般是比较欧几里德几何距离。通过这种方式，一个数据点和一系列靠近它的‘k’点进行比较，得到该点的新位置。通过这种方式， 我们可以比较可靠的追踪某个具体的触点。试误法是经常采用的方法，当情况不确定的时候，我们总是试探着处理这些情况，例如，当一个物体挡住另外一个物体的时候。 硬件层虽然能够很准确地判断触点的位置和区域，但是由于在硬件驱动中无法实现过于复杂的算法，对于触点的前后帧匹配，硬件层无法很好的实现，常常会导致触点ID的错乱，这在画板程序中较为明显。为了提高触点位置的准确性，优化触控技术，我们可以在软件层，在应用程序的开发中，添加触控追踪的匹配算法。 未来的人机交互将是自然用户界面(Natural User Interface)。随着便宜又可靠的多点触摸硬件的不断发展，我们相信，在不久的未来，多点触摸设备不仅仅是在实验室里了，而是遍布在学习室，绘图室甚至是厨房里，无限可能。鼠标和图形用户界面一直是电脑可以在社会上大规模普及的重要原因。然而，传统的人机交互是间接的和需要识别的一种方法。建立在多点触摸上的人机自然交互是直观的，流畅的和令人回味的。基于手势的GUI界面将进一步使计算机成为我们生活中的不可或缺的一部分。从广义上说，“手势的概念涵盖很广泛，只要是为了让交流的目的更明确，更引入瞩目而采用的一切身体动作，都可以称作手势。”通过手势交流是人类发展历程中最古老的形式。GUI系统是利用人们以往的阅历和认知来熟悉应用程序，而NUI的界面充分利用了人们的设想和合乎情理的结论从而提出了一个直观的、基于手势的内容界面。这样一个基于手势的界面是社会化，任务协作，以及艺术性触摸的最佳候选方案。这个界面是符合自然规律的、更直观的用户界面。然而，现在多点触摸硬件上所使用的手势是很少的，仍然存在很大的发展空间，当然也少不了继续探寻一些手势的可应用性。多点触摸界面需要一个全新的方案，而不是用GUI或者WIMP的方法来实现它。手势的类型决定了不管是多触摸用户还是单触摸多用户都能进行互动。我们将讨论需要的新手势，发展手势识别模块和支持框架能够充分利用多点触摸设备的潜力，支持可定制开发和易于使用的复杂的多点触摸应用。 Windows 7 多点触控平台是一个非常强大的开发平台。从实现默认手势支持到更高级的原始触控消息，它为您提供了强大的功能，而且实现起来相对要简单一些。 该平台还包括操作和延时处理器。操作在很多方面与手势相似，但却强大得多。使用操作可以简化对任何给定数量的对象的转换操作。您可以同时对某个特定对象执行特定手势组合，例如旋转、缩放和伸缩。操作处理器生成二维的“转换矩阵”，该矩阵用 X 和 Y 坐标来表示转换，还表示由于执行接触点移动，对象随着时间推移发生的大小变化和旋转。最后一个接触点拉起之后，您可能希望将简单的物理运动应用于对象，使其平滑停止，而不是突然停在点上。为了支持这种平滑运动，Windows 7 多点触控平台提供了延时 API。 而基于TUIO协议的多点触控平台起步较早，对操作系统没有太大限制，在现阶段的应用更为广泛。但它只支持原始的触控信息，不支持默认手势，手势的识别一般在应用层实现。对于多点触控应用的开发，不如Windows 7平台简单。 在多点触控技术中，手势的识别是最关键的一部分也是包含众多技术瓶颈的一部分。不同于鼠标键盘，触控只可能通过手势的不同达到不同输入的效果。怎样设计更加自然简单的手势，在使用过程中容易被识别，需要更多的探索和努力。 对于多点触控应用的开发，第一步