扩充词典的建设1.docVIP

汉英机器翻译扩充词典的建造* 刘群1,2 张彤2 1北京大学计算语言学研究所 2中国科学院计算技术研究所 liuqun@ict.ac.cn 摘要：本文首先介绍了我们在“面向新闻领域的汉英机器翻译系统”中语言资源建设的总体框架，然后着重介绍了其中扩充词典的建设方法。扩充词典是相对于核心词典而言的，特点是词汇量大，每个词的信息相对较少。扩充词典的建设包括以下几个阶段：收集；格式整理；词条拆分；词性标记归一化；词性标记补齐；词条合并。实验结果表明，采用这种方法，利用较少的人工，就可以得到规模很大、并初步可用的双语机器翻译词典，并且这部词典可以大大减少翻译中未定义词的数量，提高翻译的质量。 关键词：机器翻译，双语词典获取 引言 现在的机器翻译研究，从一种劳动密集型的研究方式逐步过渡到了一种资源密集型的研究方式。这二者的区别在于，在劳动密集型的研究方式中，语言学家的工作是为某个具体的机器翻译系统开发词典、规则库等语言知识库，其工作依附于某个具体的机器翻译系统，不具有独立性。而在资源密集型的研究方式中，语言学家和计算机工作者的分工更加明确。语言学家的研究成果以语言资源的形式呈现出来，而不是仅仅为某一个机器翻译系统服务，其工作具有一定的独立性。同时，这种分工导致了语言资源的共享，也使得计算机工作者在算法的研究中对于语言资源的使用有了更广泛的选择余地。 本文简要介绍了我们在“面向新闻领域的汉英机器翻译系统”开发过程中语言资源建设的总体规划和实施情况，然后详细介绍了其中一个子任务——“扩充词典”建设的工作流程、算法设计、实施过程和结果评价。 语言资源建设的总体规划 我们在“面向新闻领域的汉英机器翻译系统”的开发过程中，非常重视语言资源的建设。我们建立了一套完整的，覆盖语言知识各个层面的机器翻译语言资源建设规范，并启动了一系列的语言资源建设子任务。这些子任务包括： 汉语语义词典子任务：在原有语义词典基础上，完善规范、修改错误、补充词语，构造一部完整的机器翻译用汉语语义词典。目前此项工作正在进行，目标是将北京大学语法信息词典中的七万多汉语词语加入到语义词典中； 汉英扩充词典子任务：在原有核心词典的基础上构造一部机器翻译用扩充词典，本文后面将详细介绍； 汉英短语库子任务：收集汉英对照的短语，标记出短语结构信息，此项工作已告一段落，目前收入短语5万余条； 汉英双语语料库收集整理子任务：收集、整理双语语料库、进行格式整理、篇章标注、篇章对齐，此项工作第一阶段已经完成，收录大约100万汉字的汉英对照新闻语料以及大量的其他类型语料，目前正在进行第二阶段工作； 汉英双语语料库句子对齐子任务：在篇章对齐语料库基础上，完成段落对齐和句子对齐，与上一个子任务一样，第一阶段已完成，完成了100万汉字的汉英对照新闻语料的句子对齐（约4000句对），并整理其他类型句子对齐语料约18万句对。目前正在进行第二阶段工作； 汉英双语语料库短语对齐子任务：在句子对齐语料库基础上，完成子句、最长名词短语、基本名词短语以及其他一些特定类型短语的对齐，此项工作第一阶段已经完成，大约完成了3000汉英句对的短语对齐工作。第二阶段还没有开始。 $$ 背 **{vA} v $=[义项: $$ 背 **{vA} v $=[义项:⑴驮;⑵负担,谓词性主语:NO,系词:NO,助动词:NO,趋向动词:NO,补助动词:NO,……,语义类:搬移,配价数:2]{主体:[语义类:人|动物],客体:[语义类:具体事物],处所:[语义类:空间|集体]} = Vbear $=[VSUBC:VO,VMORF:IREG,VD:bore,VN:borne,OBJTYPE:NP] **{vB1} v $=[义项:⑴向~;⑵避,谓词性主语:NO,系词:NO,助动词:NO,趋向动词:NO,补助动词:NO,……,语义类:自移|自为,配价数:1]{主体:[语义类:人],客体:[语义类:人类]} = Dbehind ones back $=[DVPRE:NO,DVEND:YES,DADJV:NO,DMORF:NONE] = V( !Vdo Pbehind Nback ) %V=[VSUBC:VI,VMORF:IREG,VD:did,VN:done] **{vB2} v $=[义项:⑷~诵,谓词性主语:NO,系词:NO,助动词:NO,趋向动词:NO,补助动词:NO,形式动词:NO,……,语义类:对待,配价数:2]{主体:[语义类:人],客体:[语义类:人为事物|抽象事物]} = Vrecite $=[VSUBC:VO,VMORF:REGU,OBJTYPE:NP|CS] **{n} n $=[名词子类:na,前名:NO,前动:NO,后名:NO,名状语:NO,临时量词:NO,语义类:构件] = Nback $=[NSU