中英句子对齐双语语料库建设——技术报告.docx

中英句子对齐双语语料库建设 ——技术报告 “中英句子对齐双语语料库建设”技术报告 中科院自动化研究所 模式识别国家重点实验室 北京 100080 1 研究目标和内容 本课题的研究目标是： 对中英文篇章对齐的双语文 本进行段落对齐、 句子对齐加工， 建立一个大规模具 有统一标准和规范的、 多领域、 多体裁、 句子级对齐 的双语语言信息和知识库。 具体研究内容包括： 借助互联网等其他媒体搜集中英文篇章级 对齐的双语文本，并进行必要的预处理。 参照都柏林核元数据元素集制订了双语语 料文本标注规范， 在 973 标准讨论会上进行讨论 通过。 大规模文本句子对齐方法：面向多领域多 体裁， 采用基于双语词典的句子对齐方法进行了 文本对齐， 并对如何提高对齐精度做了进一步的 研究和探讨。 自动评价：对双语文本句子对齐结果实现 自动评价。 目前完成的句子对齐双语语料库可以有以下几方 面的应用： ? 作为重要的语言资源，为基于统计的各种 双语语言建模、分析提供必要的训练数据。 ? 可以为机器翻译、跨语言信息检索等领域 抽取双语词对、短语对提供真实文本标注素材。 2 相关研究现状 国内外很多研究机构都致力于双语语料库的建设， 并利用这些语料库进行广泛的研究。 加拿大的议会会 议录（ Canadian Hansards ）是非常著名的英法双语 语料库， 许多最初的基于双语语料库的研究都是在该 语料库基础上进行的 [1][2] 。有关汉外双语语料库建 设及其研究， 香港科技大学收集和加工了香港立法委 员会的会议记录，形成汉英双语语料库 [3] 。此外， 北京大学、 东北大学、 哈尔滨工业大学的研究人员也 建立了一定规模的汉英双语语料库 [7][8][9] 。但目前 汉外双语语料库规模比较小， 加工规范也不统一， 从 而影响了双语语料库知识获取的研究。 实现各个层次的对齐是双语语料库建设的一项重 要内容。 本文主要讨论汉英双语句子级对齐技术。 句 子对齐方法基本可以分为三类： 基 于 长 度 的 方 法： 最 初 由 Brown[1] 和 Gale[2] 提出，其依据是两种语言译文的长度满足 一定比例关系。 他们在英法双语的加拿大议会会议 录上取得了较好的对齐效果； 清华大学和哈尔滨工 业大学的研究人员分别将基于长度的方法应用于 Microsoft NT 3.5 Server 安装指南和法律文献的汉 英双语句子对齐，获得的试验结果。 基于词汇的方法： Kay[4] 和 Chen[5] 则分别 根据双语单词的分布信息和词汇翻译模型进行了 英德和英法双语句子对齐。文献 [8] 直接利用双语 词典对大学英语教材做了句子对齐， 也取得了令人 满意的效果。 混合方法：基于长度的对齐方法模型简单， 独立于语言知识和其他外部资源，但鲁棒性不好， 容易造成错误蔓延。 基于词汇的对齐方法相对可靠 精确， 但计算相当复杂。 研究人员试图将这两种方 法结合起来进行句子对齐。 香港大学 Wu[3] 通过创 建特殊词表来对基于长度方法进行了改进， 香港立法委员会会议记录上做了对齐试验， 好结果。 并对在 取得较 以上对齐研究大都是围绕单一领域或者某一文献、 手册的双语文本进行，本课题工作面向多领域多体 裁， 采用基于双语词典的句子对齐方法进行了文本对 齐，并对如何提高对齐精度做了进一步的研究和探 讨。 该方法不同于 Kay[4] 和 Chen[5] 的利用译词分布 相关性和词汇翻译模型的方法，与文献 [8] 的对齐方 法在评价函数设计、 双语词典资源整理上也存在不同 之处。 3 句子级对齐双语文本标注规范 对于中文信息处理各个层面上所需要的语言资 源，必须有一套统一标准和规范才能实现资源共享。 为更好的与国际接轨， 我们参照都柏林核元数据元素 集，制订了《双语语料库标注规范》 ，并在 973 标准 讨论会上通过专家讨论、 审核。 主要包括以下两部分 （标注格式选用 XML 语言）： 3.1 文件头信息 文件头信息就是该双语文本的整体属性信息， 参 照 Dublin Core Element Set 我们定义了 14 个数据单 元，其标记形式和含义见下表。 表一：文件头元素集标记形式及含义 元素 文件头 标记形式（ XML ） TEXT_HEAD … /TEXT_HEAD 含义 标明双语文本的文件头 资源名 作者 主题词和关键字