扩充词典-自然语言处理-中国科学院计算技术研究所.PDF

汉英机器翻译扩充词典的建造冰 刘群1 张彤2 1北京大学计算机语言学研究所 2中国科学院计算技术研究所 E—mail：liuqun@ict．ac．cn 摘要：本文首先介绍了我们在“面向新闻领域的汉英机器翻译系统”中语言资源建设 的总体框架，然后着重介绍了其中扩充词典的建设方法。扩充词典是相对于核心词典而言的， 特点是词汇量大，每个词的信息相对较少．扩充词典的建设包括以下几个阶段：收集；格式 整理；词条拆分；词性标记归一化；词性标记补弃；词条合并．实验结果表明，采用这种方 法，利用较少的人工，就可以得到规模很大、并初步可用的双语机器翻译词典，并且这部词 典可以大大减少翻译中未定义词的数量，提高翻译的质量． 关键词：机器翻译双语词典获取 一、引言 现在的机器翻译研究，从一种劳动密集型的研究方式逐步过渡到了一种资源密集型的研 究方式。这二者的区别在于，在劳动密集型的研究方式中，语言学家的工作是为某个具体的 机器翻译系统开发词典、规则库等语言知识库，其工作依附于某个具体的机器翻译系统，不 具有独立性。而在资源密集型的研究方式中，语言学家和计算机工作者的分工更加明确。语 言学家的研究成果以语言资源的形式呈现出来，而不是仅仅为某—个机器翻译系统服务，其 工作具有一定的独立性。同时，这种分工导致了语言资源的共享，也使得计算机工作者在算 法的研究中对于语言资源的使用有了更广泛的选择余地。 本文简要介绍了我们在“面向新闻领域的汉英机器翻译系统”开发过程中语言资源建设 的总体规划和实施情况，然后详细介绍了其中一个子任务一“扩充词典”建设的工作流程、 算法设计、实施过程和结果评价。 二、语言资源建设的总体规划 我们在“面向新闻领域的汉英机器翻译系统”(Liuet．a1．2001)的开发过程中，非常重 视语言资源的建设。我们建立了一套完整的，覆盖语言知识各个层面的机器翻译语言资源建 设规范。并启动了一系列的语言资源建设子任务。这些子任务包括： 1．汉语语义词典子任务 在原有语义词典基础上，完善规范、修改错误、补充词语，构造一部完整的机器翻译用 汉语语义词典。目前此项工作正在进行，目标是将北京大学语法信息词典中的七万多汉语词 ’本项目接受国家重点基础研究项目(973)资助，课题号为：G1998030507-4． ·25· 语加入到语义词典中。 2．汉英扩充词典子任务 在原有核心词典的基础上构造一部机器翻译用扩充词典，本文后面将详细介绍。 3．汉英短语库子任务 收集汉英对照的短语，标记出短语结构信息，此项工作已告一段落，目前收入短语5万 余条。 4．汉英双语语料库收集整理子任务 收集、整理双语语料库、进行格式整理、篇章标注、篇章对齐，此项工作第一阶段已经 完成，收录大约100万汉字的汉英对照新闻语料以及大量的其他类型语料，目前正在进行第 二阶段工作。 5．汉英双语语料库句子对齐子任务 在篇章对齐语料库基础上，完成段落对齐和句子对齐，与上一个子任务一样，第一阶段 已完成．完成了100万汉字的汉英对照新闻语料的句子对齐(约4000句对)，并整理其他类 型句子对齐语料约18万句对。目前正在进行第二阶段工作。 6．汉英双语语料库短语对齐子任务 在句子对齐语料库基础上，完成子句、最长名词短语、基本名词短语以及其他一些特定 类型短语的对齐，此项工作第一阶段已经完成，大约完成了3000汉英句对的短语对齐工作。 第二阶段还没有开始。 本文主要介绍其中的第二项子任务：汉英扩充词典子任务。 三、机器翻译的词典建设 双语词典建设是机器翻译系统开发中的一个重要环节。 常见的机器翻译词典开发有以下几种方法： 1)人工开发：组织人力物力，从头开始开发。当然，在实际的开发中，都要借鉴已有 的词典，甚至以已有的某部词典为基础。这种方法费时费力，但可以根据自己的需要任意裁 减所需信息，易于和翻译算法紧密结合。传统的机器翻译词典开发一般都采用这种方法。《知 网》(董振东)也可以看作一部采用这种方法开发的可用于机器翻译的双语词典。 2)利用已有的电