基于体感和3D虚拟仿真技术静态手语―口语互译软件设计与实现.docVIP

基于体感和3D虚拟仿真技术静态手语―口语互译软件设计与实现 　　摘要：基于当今社会对手语翻译的迫切需求，系统分析了手语翻译、口语翻译、练习系统、自定义手语、娱乐模块五大功能模块。基于体感和3D虚拟仿真技术，设计并实现了静态手语-口语互译软件系统。从指尖坐标获取、语音识别、口语翻译、练习系统、体感游戏、自定义手语六大方面详细介绍了其技术路线与实现过程。 　　关键词关键词：体感技术；手语翻译；Kinect；Unity3D 　　DOIDOI：10.11907/rjdk.161417 　　中图分类号：TP319文献标识码：A文章编号文章编号2016）007006702 　　0引言 　　据调查，目前全世界有3.6亿的听力障碍人士，其中有近2 100万来自中国，手语是听力障碍人士实现沟通的主要语言，然而由于大部分人不懂手语，使得聋哑人士和普通人之间的交流十分困难。而通过人工进行手语和口语实时互译，来解决大多数人的沟通问题又极不现实。随着计算机科学技术的飞速发展，以体感和虚拟现实为代表的各种新兴技术的出现，使得通过技术的创新、融合以更加低廉的成本和更高的效率满足日益增长的需求成为可能。将体感和3D虚拟仿真技术相结合，并运用于静态手语和口语互译实现中，不仅极大提高了效率，同时也为当前手语翻译研究提供了一个新的切入点。 　　1功能分析 　　手语翻译： 用户只需要在Kinect前面做出相应的手语动作，系统便能自动捕捉，通过分析并处理深度图像数据，将其翻译并以文字的方式展现出来[1]。 　　口语翻译： 系统提供了两种方式，分别是文本输入方式和语音输入方式。用户可以选择使用文字或是语音的方式向系统传递需要翻译的信息，单击“翻译”按钮后，3D虚拟人物就会将其自动转化为手语展示给用户，相当方便。 　　练习系统： 用户通过观看3D虚拟人物所做的手语动作来分辨出其对应的手语意思，并点击系统显示在界面上多个汉语意思中自己认为正确的一个，然后系统会对用户的分辨结果作出判断，通过直观简洁的流程让用户更好地学习手语。 　　自定义手语：自定义手语功能目前只支持自定义一种手语（再见时的摆手动作），该功能是预留给下一版作为扩充之用。 　　娱乐模块： 主要以体感游戏的方式呈现给用户，用户通过简单的手势来控制游戏主角，从而融入游戏[2]。 　　2系统设计 　　本系统以Unity3D为开发平台，使用CCT.NUI开源体感识别库、OpenNI/NITE组合开发包和KinectWrapperPackage中间件的接口进行开发。系统整体架构如图1所示。 　　2.1OpenNI简介 　　OpenNI（开放式的自然交互）是一个非营利组织，该组织专注于提高和改善自然交互设备，应用软件的互操作能力，通过使用这些硬件和中间件来很方便地访问和使用一些设备。 　　OpenNI的API允许开发人员直接基于最原始的数据格式编写中间件上层算法，而不管这些数据是由哪个传感器设备产生。OpenNI的这种机制给了传感器制造商一个充分的自由空间去制造自己的传感器而不用考虑上层OpenNI兼容的应用程序。 　　OpenNI API使得自然交互应用开发人员通过传感器输出的标准化数据类型来处理真实的三维数据，这些标准化的数据类型可以表示人体全身、手的位置，或者仅仅是一个含有深度信息的像素图等。 　　2.2系统模块组成 　　本系统主要包括静态手语识别、口语识别、练习系统、娱乐模块、自定义手语库共5个模块。 　　（1） 静态手语识别。静态手语识别是本系统最核心的模块之一，用户只需要在Kinect可识别范围内做出相应手语动作，系统通过分析处理从Kinect获取的深度和骨骼数据，将其翻译成汉语，以文字的形式显示在屏幕上，简单直观[3]。 　　（2） 口语识别。口语识别模块提供了两种方式以方便用户向系统传递需要翻译的信息，分别是文本框输入、语音识别输入。①文本框输入：用户直接在输入框输入需要翻译的内容，单击“翻译”按钮，系统的3D虚拟人物便将此内容以手语的形式展示出来；②语音识别输入：用户只需开启语音识别，然后在Kinect可识别的范围内直接说出想要翻译的内容，Kinect识别出信息后便会显示在文本框内，用户确认内容无误后，单击“翻译”按钮，3D虚拟人物便会将其翻译[4]。 　　（3） 练习系统。用户点击“开始”后，系统会按照一定顺序选择一则手语的动画并播放出来。用户可以根据动画判断相应的手语意思并选择，系统会作出判断。该系统简单易用，适合大多数人的日常学习。 　　（4） 娱乐模块。主要以体感游戏的方式呈现，用户通过简单的手势来控制游戏主角。 　　（5） 自定义手语。用户在自定义手语页面只需单击录制按钮，手势录制进程即被启动，视频录制完毕后，通过算法处理加