手语计算30年回顾与展望-计算机学报.PDFVIP

计算机学报 20 17 年在线发布 CHINESE JOURNAL OF COMPUTERS 20 17 Online 1 手语计算30 年：回顾与展望 1),2) 2) 1) 1) 2) 姚登峰 江铭虎 鲍泓 李晗静 阿布都克力木·阿布力孜 1) （北京市信息服务工程重点实验室(北京联合大学) ，北京100101） 2) （清华大学人文学院计算语言学实验室、心理学与认知科学研究中心，北京100084） 摘要：手语的自然语言处理是计算机学科中的一项重要任务。目前随着信息技术的飞速发展，以文本和语音为主要载 体的传统语言计算的工作重点已从编码、输入方法和字音的研究逐渐转移到语法层面，并进入深度计算的阶段。然而手 语信息处理却严重滞后，处于空白起步阶段。究其原因，主要是缺乏用于机器学习的具有一定规模的手语语料库资源， 同时传统的语言计算技术也存在不足，这些都阻碍了手语机器翻译、手语问答系统、手语信息检索等信息处理的应用研 究。本文首先阐述了手语计算与传统语言计算的本质差异在于空间建模，这种差异导致了前者核心任务是单信道与多信 道转换，后者根本任务是消歧。从词法、句法、语义、语用、应用等层面对手语计算进行了回顾，重点介绍了手语机器 计 翻译和分类词谓语计算，指出分类词谓语是手语计算的关键，是手语计算取得突破的切入点。从展望的角度，认为互联 网时代体感设备的出现、认知神经科学的兴起、深度学习的进展等新技术为手语计算带来了新的机遇。将手语计算与传 统语言计算进行比较，分析了手语计算的趋势和未来的研究方向，手语的认知计算是从手势的物理特征到语义表征的映 射转换过程，其计算趋势是填补音韵特征、语义单元这样的中间步骤，避免直接从底层特征得到语义概念，关注于在手 算 语行为与语言特征的关系上进行机器学习，建立融合空间特征的统计学习模型。未来研究方向包括资源建设、文景转 换、隐喻理解，其中文景转换有助于实现空间信息抽取，即物体的空间方向、位置等信息，结合知识库消除自然语言的 模糊性，进而实现三维场景构建。指出手语计算正从萌芽期过渡到发展期，若取得重大突破，手语计算将扩展语言计算 体系，推动人工智能的发展。 机 关键词：手语计算；分类词谓语；机器翻译；空间建模；多信道；空间隐喻 中图法分类号：TP18 学 Thirty Years beyond Sign Language Computing: Retrospect and Prospect YAO Deng-Feng1),2) JIANG Ming-Hu2) BAO Hong1) LI Han-Jing1) ABUDOUKELIMU Abulizi2) 1) 报 (Beijing Key Lab of Information Service Engineering, Beijing Union University, Beijing, 100101) 2)(Lab of Computational Linguistics, School of Humanities, Center for Psychology and Cognitive Science, Tsinghua University, Beijing, 100084) Abstract The natural language processing of sign language is an important task in the field of artificial intelligence and information processi