双语语料库收集整理加工任务工作手册.pdf

973 “面向新闻领域的汉英机器翻译课题组”文档 保密级别：内部 共 1 页 4/19/2003 双语语料库收集整理加工任务 工作手册（1）— 语料的手工整理 [作 者:]柏晓静 [参与者:]常宝宝 詹卫东 吴云芳 [项目名称:] 973MT_ParaCorpus [最近修订时间:] 4/19/2003 [最近修订者:] 柏晓静 [版本号:] V1.0 [文档历史记录:] V0.5，V0.6 ，V0.7 ，V0.71 ，V0.72 ，V0.8 ，V0.9 [提交:] MT 组例会 [ 目 录] 1 引言1 2 语料手工整理的具体工作内容与要求1 2.1 文件层次的工作内容和要求细节2 2.2 内容与格式层次的工作内容和要求细节2 2.3 标记层次的工作内容和要求细节3 2.3.1 文件中需要标记的具体内容3 2.3.2 文件中需要标注的篇章信息4 2.3.3 文件中需要标记的其他内容5 4 样例6 5 结束语27 1 引言 根据《双语语料库收集整理加工任务说明书以及相关规范》和《双语语料库收集整理加 工任务第一阶段实施计划》，对现有语料的系统整理是ParaCorpus 子任务实施的基础和首项 具体工作，它将由工作人员在相关工具的辅助下完成。 本文为《双语语料库收集整理加工任务工作手册》的第一部分，主要针对语料的手工整 理，明确具体的工作内容和要求。工作人员应严格依照《规范》和本手册着手语料的整理。 2 语料手工整理的具体工作内容与要求 在语料整理的工作流程（见《双语语料库收集整理加工任务语料整理的工作流程》）中， 步骤 2 是由工作人员在语料整理标记工具（后简称“工具”）的辅助下完成的。本节说明手 工整理的具体内容和要求，为工作人员提供详细的指南。有关辅助工具的使用，请参见《双 语语料库收集整理加工任务程序说明书（1）-- 语料整理标记工具》。 经过预处理（即步骤 1）的篇章级对齐单位用工具打开后，其原文文件和译文文件均已 1 973 “面向新闻领域的汉英机器翻译课题组”文档 保密级别：内部 共 2 页 4/19/2003 带有TEXT_HEAD…/TEXT_HEAD 、TEXT_BODY…/TEXT_BODY 和p…/p 标记。同时，界面下方会显示原文文件和译文文件的段落数，文件中以p开头、/p结尾 的一行计为一段。（见下图）工作人员将在此基础上完成以下的整理标记工作。 2.1 文件层次的工作内容和要求细节 检查中英文语料的对齐情况：检查文件名相同、后缀分别为.zh 和.en 的两个文件是否为 篇章级对齐，即其内容是否具有“翻译关系”。通常情况下，查看中英文标题和首尾段 落是否具有“翻译关系”即可。 发现问题，请做记录并及时反馈给负责人。 2.2 内容与格式层次的工作内容和要求细节 由于收集和预处理的问题，语料中一些段落被非法割断，一个明显的标志就是段尾没有 合法的段落结束符号，具体情况如： （1） 文字间被截断 （2 ） 标点符号处被截断 （3 ） 单词被截断 工作人员应利用工具提供的“合并段落”功能对这类问题进行处理。 工具界面下方的段落计数提示工作人员原文文件和译文文件的段落对应情况。若原文文 件和译文文件的段落数不同，工作人员应检查语料中是否存在被非法割断的段落，并进 行相应的处理（“段落切分”与“合并段落”）。（注：原则上，允许原文文件和译文文件 的段落数不相同，但必须保证此差异不是由段落被非法割断所造成的。） 由于收集和预处理的问题，语料中仍存在一些非法空格 （即多余的空格，包括段首空格、 2 973 “面向新闻领域的汉英机器翻译课题组”文档 保密级别：内部 共 3 页 4/19/2003 段落中将单词割断的空格、以及段落中单词与单词之间或字与字之间多余的空格等）， 须利用工具