基于双重模型计算机手语动作实现方法.docVIP

基于双重模型计算机手语动作实现方法 　　摘要：首先给出了一个新的方法来建立手的模型。这个手的模型由两个模型组成：一个是实现运动的骨骼模型,其决定了运动姿态及运动约束；另一个是表现运动的皮肤(表面)模型，用来表现真实感。其次，根据该模型实现手语的动作，利用该方法实现手语动作的关键技术，包括手及手臂旋转变换的变换矩阵、有向拓扑结构描述骨骼模型、表现运动的皮肤模型的拓扑不变性、以及骨骼模型实现运动和皮肤模型表现运动的方法。该方法具有一定的通用性，为网络环境下实现异语种的手语表达与传输打下了基础。 　　关键词：手语；骨骼模型；皮肤模型；有向拓扑结构；拓扑不变性 　　中图分类号：TP391文献标志码：A 　　文章编号：1001-3695(2007)11-0315-03 　　 　　0引言?? 　　 　　在进行面对面的通信时，人们不但使用包括口语（语音）、书面语言（文字）等被称为自然语言的语言通道，同时还经常使用手势、表情、体势和头势等人体语言来强调某些重要的部分或表达某些特殊的意思，使用特殊的表情或动作表达和传递许多信息。手语是人体语言中一个非常重要的组成部分，是包含信息量最多的一种人体语言，与人们所定义的其他人体语言截然不同。手语同自然语言的表达能力相同，能够单独承担交流信息的任务；而且手语具有很强的视觉效果，它生动、形象、直观。人最易于通过语言（自然语言）和手势进行交流[1] 。?? 　　手语的研究不仅有助于改善和提高聋哑人等残疾人的生活、学习和工作条件，为他们提供更好的服务，同时也可以应用于计算机辅助哑语教学?p电视节目双语播放?p虚拟人的研究、电影制作中的特技处理、动画的制作?p医疗研究、游戏娱乐等诸多方面[1~13]。?? 　　目前，有关手语的研究主要集中在手语的识别及手语的合成领域，这都需要建立三维的手语模型。目前建立虚拟三维手的模型主要有两类方法：a)基于VRML建立的虚拟三维手的模型，该方法建立的模型便于在Internet上表示并传递三维虚拟场景，但是表示的三维模型逼真度相对差一些[13，14]；b)基于三维网格的虚拟三维手的模型，该方法建立的模型的优点是可以利用大量的点面信息表示一个形象非常逼真的模型，但是由于采用大量的点面信息，计算量倍增并不利于网络传输[4]。基于此，本文主要介绍了一种基于双重模型实现手语动作的方法（图1）。该方法既能够保证三维虚拟人手模型的逼真程度；又便于模型在网络上的传递。其模型由皮肤模型和骨骼模型两部分组成，骨骼模型实现运动，皮肤模型表现运动，并利用该双重模型实现手语的动作。其手语动作实现过程如图1所示。?? 　　 　　1虚拟三维人手及手臂骨骼模型的建立?? 　　 　　一个手语动作包含两方面的内容，即手的形状和手在空间中所处的位置。也就是说，手语动作不仅仅是由手来完成的，它是由手及手臂共同协调来完成的。因此将手及手臂作为研究对象，建立一个手及手臂的整体模型。?? 　　手及手臂是由相应的部位体和关节组合而成，它们的运动是由各个部位体绕着各自的关节旋转所产生。将部位体抽象为一条线段，关节抽象为一个点，手及手臂抽象为由点和路径组成的骨骼模型。这样就会得到如图2所示的手及手臂的抽象结构。通过手及手臂的抽象结构可以看出，一支手及手臂中腕关节有2个自由度，肘关节有2个自由度，肩关节有3个自由度，各手指关节共有25个自由度。这样一只手及手臂就可用18个关节和32个自由度表示[13]，通过部位体绕着各自的关节旋转来完成许多复杂的手语动作。人的手及手臂的结构是一种铰链式结构（一段一段连接组成）[15]，手及手臂的运动是绕关节做刚体的旋转运动。由机器人运动学原理可知，手及手臂的运动是一种连带性的运动，以肘关节为例：当肘关节弯曲时，带动整支手及小臂一起运动。?? 　　手及手臂骨骼模型决定了运动姿态及运动约束，骨骼模型解决了网络传输以及大数据量计算的问题。a）在网络传输时，只传输骨骼模型关节点的信息即可，而不需要传输组成皮肤模型的大量数据，便于实时表现手语动作。b）手及手臂运动时，需要进行运动约束及运动干涉的检查，如果使用带着大量皮肤模型的数据进行计算不仅影响速度，而且也不方便。有了骨骼模型后，需要一个皮肤模型来表现真实感，这是十分重要的。?? 　　 　　2虚拟三维人手及手臂的皮肤模型的建立?? 　　 　　由于真实感的需要，对皮肤模型提出了苛刻的要求。而一个形象化皮肤模型需要大量的点和面组成，这样建立的三维虚拟手及手臂模型才会非常接近于真实的人体，才能使手语动作更加拟人化。另外，还需要得到模型的必要的点、面信息，以便控制手及手臂模型实现复杂的手语动作。?? 　　本文建立的三维模型是从POSER中截取了一支手及手臂的三维模型，将其存储为3DS文件格式；然后分析3DS文件格式，从