中国手语合成技术及其应用.pdf

第 7 卷第 3 期 信息技术快报 Vol.7 No.3 Information Technology Letter May 2009 中国手语合成技术及其应用 陈益强 刘军发 颜庆聪 何文静 摘要：我们研发的“中国手语合成技术”能将任意给定的文本转换为手语并通过虚拟动画角色的多模态行 为合成显示出来。本文在分析目前国内外手语合成技术和系统研究的基础上，重点介绍我们的工作，包括 虚拟人建模、自然语言到手势语言转换、手势平滑、手势运动重定向以及动画角色多模态行为表达等关键 技术，同时也介绍了基于中国手语合成技术的信息无障碍应用系统的研制，如：面向广电节目的电视手语 制作系统和面向在线学习的奥运常用手语网络教学系统。最后介绍了目前还存在的问题以及下一步我们将 开展的结合嵌入式终端和普适计算的研究工作。 关键词：手语合成、多模态、普适计算、信息无障碍 1 v 1 引言 3 1 0 残障人士中的聋哑人不能像健听人那样通过语言方便地传递和获取信息，而要主要依靠 0 0 手语。目前，虽然聋哑人也能通过电视、互联网、手机等工具与外界进行深度交互，但信息 . 获取的障碍仍然普遍存在。借助现代科学技术使自己能像健听人一样自由地获取信息，这是 1 1 每一位聋哑残疾人的梦想。要达到这个目标，涉及到两方面的技术：一是手语识别，即聋哑 6 人打出手语，计算机通过采集设备获得聋哑人的手语数据，识别出手语含义，进而翻译成语 1 0 音，传达给不懂手语的健听人。这样，健听人就可以“听懂手语”。二是手语合成，健听人 2 通过语音表达自己的意图，计算机将语音翻译为手语并表现出来。这样，聋哑人就可以“看 : v 懂声音”。本文主要关注后一种技术，即手语合成技术。 i X 目前，世界上已出现多种语言的手语合成系统。最早用计算机合成手语的研究见于 1982 a 年[1]，山兹（M. Shantz ）和波伊兹纳（H. Poizner ）描述了一个用计算机合成美国手语的程 n i 序。该程序基于棍棒模型，用 BASIC 语言编写。之后，中国、日本、德国等许多国家都进 h 行了自己国家的手语合成研究，并取得了重要的研究成果。日本的手语研究始于 1985 年[2] 。 c 直到 1995 年，日本的日立公司才实现了一个从日语到日本手语的双向转换系统[3] 。该系统 能把日本手语手势转换成日语语音，亦能把日语语音转换成日本手语手势。系统应用到一个 居住卡自动发放机中，用于向聋哑人解释该机的操作方法。2006 年，杰吉尔（L. V. Zijl ）和 [24] 康宾克（A. Combrink ）实现了翻译南非手语的功能 。他们采用扩展的同步树邻接语法分 析器生成非手部的手势和建立合适的手势空间。为了支持学校的希腊手语教学，卡彭（K. Karpouzis ）等人于2007 年设计了基于 H-Anim 的虚拟角色，用以实现希腊手语的可视化[25]， 老师输入希腊文本，转换成手语后，由虚拟角色打出手势。意大利的布特斯(F. Buttussi)等人 也致力于手语—书面语的双语字典的实现[26]，其于 2007 年开发的 3DictSL 不仅提供了双向 查询的功能，还支持一个在线国际手语词典，使用者还能学习其他国家手语的打法，并且允 许聋人团体用自己的语言扩充词典。2008 年，西班牙的圣安东（R.San-S