中科院计算所多语言处理和机器翻译研究进展.PDFVIP

中科院计算所多语言处理和机器翻译中科院计算所多语言处理和机器翻译 研究进展 姜文斌 中国科学院计算技术研究所 自然语言处理研究组 第九届全国自然语言处理青年学者研讨会 深圳，2012年8月 大纲 • 研究背景研究背景 • 问题与挑战 • 研究进展研究进展 • 翻译评测翻译评测 2 中国的多语言环境 • 少数民族语言众多 – 维吾尔语、哈萨克语、柯尔克孜语…… – 蒙古语 – 藏语 – 朝鲜语 • 周边语言环境复杂 – 语言种类多：英语、日语、韩语、泰语、越南语、俄 语语、…… – 很多语言与国内少数民族语言相通 3 多语言处理与翻译国际局势 • 美国 – 美国军方对此投入大量资金，相关的大型项目包括： TIPSTER，TIDES，GALE • 日本本 – 对机器翻译投入极其巨大 – 在泰国等东南亚国家设立自然语言处理研究机构 • 欧盟 – 多个研究框架计划都有对多语言信息处理持续的大规 模项目资助 4 多语言处理与翻译国内现状 • 汉语处理和汉英翻译研究较多 • 少数民族语言信息处理研究起步 – 数据资源初步成型数据资源初步成型 – 算法研究开始起步 • 编码转换：对一些语言仍然相当严重 • 词法分析：已有初步可用的词法分析工具 • 句法分析：已有一些初探性研究 • 语义义分析析 ：几乎没有乎没有 • 机器翻译：已有初步可用的翻译系统（蒙、藏、维汉） • 周边国家语言信息处理研究薄弱 5 大纲 • 研究背景研究背景 • 问题与挑战 • 研究进展研究进展 • 翻译评测翻译评测 6 多语言处理中的科学问题 • 编码/书写系统识别与转换 • 拼写检查 •• 句子句子//词语切分词语切分 • 黏着语形态分析/生成 • 命名实体识别 • 句法分析句法分析 • 黏着语统计机器翻译建模 • 资源贫乏的应对方法资源贫乏的应对方法 7 编码/书写系统识别与转换 • 一些民族语言拥有多种编码/书写系统 • 编码系统编码系统 – Unicode – 语言特定编码语言特定编码 • 如藏语班智达编码 •• 书写系统书写系统 – 传统书写系统 – 拉丁书写系统拉丁书写系统 • 蒙古语，维吾尔语 • 现存语料通常多用多种编码现存语料通常多用多种编码//书写系统书写系统 • 必须实现不同编码/书写系统的识别和转换