机器翻译原理.pptVIP

机器翻译原理 Part Ⅵ 双语语料库对齐及 翻译知识自动获取技术 MTLAB of HIT 主要内容 概述 为什么要自动地获取知识（Why ?) 获取什么知识 (What ?) 如何获取知识 (How ?) 双语语料库对齐加工 句子对齐 词汇对齐 结构对齐 翻译知识的获取 直接利用双语语料库获取翻译知识的研究 间接利用双语语料库获取翻译知识的研究 为什么要自动获取知识（Why ?) 什么是知识？ 获取什么知识（What ?) 如何获取知识（How ?) 翻译知识获取 知识获取过程： 数据预处理? 知识挖掘 ? 知识评价 双语语料库对齐加工 翻译知识自动获取 双语语料库及其对齐技术（1） 语料库 语料库(Corpora)是按照一定的原则组织在一起的真实的自 然语言数据(包括书面语和口语)的集合，主要用于研究自 然语言的规律，特别是统计语言学模型的训练以及相关系 统的评价和评测 语料库语言学 语料库语言学是以语料库为基本知识源来研究自然语言规 律的学科，主要研究内容包括语料库加工的理论、方法和 工具以及基于语料库的知识获取。 单语语料库(Monolingual Corpus)和多语语 料库(Multilingual Corpora) 双语语料库及其对齐技术（2） 双语语料库的建设 双语语料库(Bilingual Corpora，Parallel Corpora) 国外： 加拿大的议会会议录(Canadian Hansards)，（英法） 英国Brighton大学语言中心双语语料库INTERSECT,（英法书面语) 英国Birmingham大学的LINGUA多语语料库项目，英、法、希腊语 加拿大的BCD(Bilingual Canadian Dictionary)词典编纂项目 瑞典Uppsala大学语言学系建立的Scania多语语料库 …… 国内： 建立了一些单语语料，尚无大规模汉外双语库的报道 目前国内基于汉外双语语料库的研究大都处于实验和摸索阶段 香港科技大学的英汉双语语料库HKUST 哈工大-微软联合实验室：6万句对 双语语料库及其对齐技术（3） 双语语料库的对齐技术 对齐：从互译的不同语言文本中找出互译片断的过程 语料库的加工深度决定语料库所能提供的知识的粒度 双语语料库对齐可分为段落、句子、短语、单词不同级别 句子对齐 词对齐 短语（结构）对齐 双语语料库对齐技术：句子对齐(1) 基于长度的句子对齐方法 源语言文本的长度与译文长度有很强的相关性 基于词数长度的对齐（Brown) 基于字符数的长度对齐方法(Gale Church) 这些算法都把句子对齐看作是句子长的函数；不需要额外的词典信息；但是容易造成错误的蔓延。 基于词汇的句子对齐方法 Simard等人提出了在长度标准上加上同源概念(Cognate) 来提高算法的性能 Kay和Roscheisen提出了另一种基于语汇的对齐算法，在该算法中选择句子对齐的标准是其中词汇对齐的数量。 双语语料库对齐技术：句子对齐(2) Debili 和Sammouda实现了Simard的思想，并采用双语典为指导，以缩小搜索空间 Church利用双语文本中字母的对应信息，在1993年设计了一种字符对齐算法 长度方法与词汇方法相结合(Wu、Utsuro) 不少学者认为句子对齐已经达到可以实用（～98％） 双语语料库对齐技术：词汇对齐(1) 词汇对齐是指在源文和对应的译文中找到词汇级的对译关系 大家 都 叫 他 毛 伯伯 。 Everybody calls him Uncle Mao . 由于词汇对齐比句子对齐提供了更细粒度的对译信息，因此可以为自然语言处理提供更大程度的支持 双语语料库对齐技术：词汇对齐(2) 词汇对齐的困难 词汇对齐不满足次序性假设 词汇对齐的模式十分复杂（1:1,1:m,m:1,m:m) 她改变角度去写他的报告以迁就她的听众. She angles her reports to suit the people she is speaking to. 词汇对齐匹配关系难以断定(词典，长度） 采用这种新装置… The adoption of this new device….. 汉语的特点及英语和汉语间的固有差异 汉语分词问题; 惯用搭配、成语、谚语 双语语料库的对齐技