第二讲_双语数据预处理.pdfVIP

第二讲 双语数据预处理 学习目标：了解和学习开发汉英双语数据预处理模块。 双语数据预处理是统计机器翻译系统构建的第一步，为词对齐处理提供分词后的 双语数据。预处理的工作本质上就是双语数据的分词处理，与传统分词不同的一 点在于需要对一些特定类型词汇进行泛化处理，如数字词汇 “123.45”泛化为 “$number”来代替原文。本讲中以汉英双语数据为处理内容。 本讲学习内容：  中文分词预处理 采用传统基于词典的正向最大匹配法来完成中文分词。基本流程如图所示： 输入： 1、待切分字串S1；2、最大词长MaxLen 输出： 分词后词串S2 开始 Y S1是否为空 N 从S1左边开始，取出