双语语料库收集整理加工任务说明书以及相关规范.pdf

973 “面向新闻领域的汉英机器翻译课题组”文档 保密级别：内部 共 1 页 4/19/2003 双语语料库收集整理加工任务 说明书以及相关规范 [作 者:] 常宝宝 [参与者:] 詹卫东 柏晓静 [项目名称:] 973MT_ParaCorpus [最近修订时间:] 4/19/2003 [最近修订者:] 柏晓静 [版本号:] V1.0 [文档历史记录:] V0.5，V0.6 ，V0.7 ，V0.75 ，V0.8 ，V0.81 ，V0.9 [提交:] MT 组例会 [ 目录] 1 引言1 2 双语语料库收集整理加工子任务术语定义2 3 双语语料库收集整理加工子任务概要2 4 双语语料库整理、加工流程4 5 双语语料库整理规范4 6 双语语料库加工规范6 6.1 段落、句子边界标记6 6.2 段落、句子对齐标记6 7 样例7 7.1 经过整理后的语料7 7.2 经过段落和句子边界标记的语料8 7.3 经过段落和句子对齐标记的语料9 1 引言 双语语料库对机器翻译、机器辅助翻译、双语词典编纂、双语术语自动提取、双语对比 研究以及双语教学的巨大价值已经得到越来越多的认可。对于机器翻译或机器辅助翻译而 言，双语语料库主要可以在两方面发挥作用。一方面，双语语料库可以持续不断地为基于记 忆的(TM)引擎提供翻译实例，如果不做双语语料库建设的话，TM 引擎只能是一个摆设。另 一方面，双语语料库又是一个宝藏，可以从中挖掘学习各种细粒度翻译知识，供机器翻译、 机器辅助翻译使用，这些翻译知识对翻译任务的各个环节都会起到积极作用。 面向新闻领域的机器翻译系统是一个多引擎结构，其中已经有一个基于记忆的引擎，但 目前服务于该引擎的翻译实例还远远不够；另一方面，其它翻译引擎也需要大量的翻译知识， 1 973 “面向新闻领域的汉英机器翻译课题组”文档 保密级别：内部 共 2 页 4/19/2003 这些知识库的建设正在艰苦的进行之中，然而，长远来看，翻译知识自动获取是一条必经之 路。这两个方面都要求课题组必须进行大规模的汉英、英汉双语语料库建设，使双语语料库 为机器翻译系统提供实在的服务。在这个方面进行艰苦的工作是必须的。 《双语语料库收集整理加工任务说明书及相关规范》主要内容为：（1）双语语料库收集 整理加工子任务术语定义；（2 ）双语语料库收集整理加工子任务概要；（3 ）双语语料库整理、 加工流程；（4 ）双语语料库整理规范；（5 ）双语语料库加工规范。任务概要中列举的某些任 务，如分类统计任务、双语相关集列任务不包含在该规范内，将另文说明。 2 双语语料库收集整理加工子任务术语定义 为便于文档的书写和工作的开展，现就ParaCorpus 子任务定义以下术语： 1）原始语料：指从各种渠道收集的、未经整理和加工的语料，其中包含中文文本和英文文 本，多数情况下，中英文文本之间是有“翻译关系”的。“翻译关系”是以下定义双语 语料库的各个概念的基础，是一个无需定义、根据翻译常识即可理解的原始概念。 2 ）双语语料库 （记作P_Corpus ）：一个双语语料库由若干个篇章级对齐单位构成，可以表 示为：P_Corups = AT1 ，AT2 ，… ATn。 3 ）篇章级对齐单位 （记作AT ）：一个篇章级对齐单位由若干段落级对齐单位构成，可以表 示为：AT = AP1 ，AP2 ，… APn。其中，AP1 = (PS1 ，PT1) ，AP2 = (PS2 ，PT2) ，… APn = (PSn ，PTn) ；PS1 ，PS2 ，… PSn 构成一篇完整的原文文本(Ts)，PT1 ，PT2 ，… PTn 构 成原文文本对应的完整的译文文本(Tt)，即Ts 与Tt 之间具有“翻译关系”。原文文本和 译文文本分别存放在两个文件中，这两个文件的文件名相同，但后缀名不同。 3.1 ）原文文件：存放篇章级对齐单位中的原文文本的文件(Fs) 。 3.2 ）译文文件：存放篇章级对齐单位中的译文文本的