统计机器翻译与研究进展.pptVIP

统计机器翻译研究进展 杜金华 Outline Overview: SMT at CASIA Baseline System Recent Improvements 目前研究方向 Parsing/Syntax-based SMT 长句分析/骨干关联分析 中文Base NP的研究 中文命名实体 总结与致谢 Baseline System– For NIST MT-06 Evaluation Phrase-based Translation with Variable Template Substitution word align corpus, using GIZA++ and Och’s refined method collect phrase pairs consistent with word alignment SRILM language model log-linear model to combine model components beam search decoder System Components reordering model language model trigram LM trained using SRILM toolkit phrase translation model f - e phrase translation model e - f word translation model f - e word translation model e - f Examples Variable Template Substitution 对数字，时间，人名，地名进行双语替换 如： 我 的 房间 号 是 301 。----?我 的 房间 号 是 _digit 。 　　　　My room number is 301 . --? My room number is _DIGIT . 短语模板（抽取短语长度=7） 　　从 _location 到 _location = from _LOCATION to _LOCATION 1.47961e-002 您 将 在 _timep 离开 _location ||| you ll leave _LOCATION at _TIMEP 3.30669e-002 Recent Improvements 更新了汉语分词与命名实体识别模块，降低了因此而引入的噪音 改进了短语抽取与概率计算模块 4-Gram language model 最小错误率参数训练 根据Ashish Venugopal的matlab版本改写 后处理模块 近期计划针对NIST MT-06任务使用改进的系统进行一次评测试验 目前研究方向 Parsing/Syntax-based SMT 长句分析/骨干关联分析 中文Base NP的研究 中文命名实体 Parsing/Syntax-based SMT 基于中文句法分析器的研究 实现了基于头驱动的句法分析器 基于骨架依存概念的翻译 基于英文句法分析器的研究 利用英文Parser构造syntax-based SMT系统 基于句法分析的SMT Tree-to-String String-to-Tree 基于骨架依存概念的翻译 骨架依存概念 刻画了树上各个结点之间的关系：一般主要是中心词与它相邻结点的支配与被支配关系。 基于依存树的句法分析能为机器翻译提供有用的结构信息 基于骨架依存树的翻译 我们的设想 基本思想是一种分层次的翻译模型，由骨架映射-短语翻译-词翻译的逐层细化的过程。 我们已经能够进行短语及词一级的翻译，现在问题的关键是如何找到子句的骨架，并利用骨架变换来描述两种语言的结构变换。 将骨架变换形式化为转换规则(lexical and non-lexical)，并统一到概率的框架下。 长句分析/骨干(Skeleton)关联分析 长句分析 目前仍无有效的方法对长句进行Parsing或者翻译 目前对长句的处理只是研究如何将其切分 NIST语料中FBIS中的长句特点 并列成分多 修饰语过多 语言结构层次多 插入语 Examples 我们坚信，有马列主义、毛泽东 思想和邓小平理论的指引，有以江泽民同志为核心的党中央的正确领导，有全军 官兵的团结奋斗，有全国各族人民的大力支持，我们的目标一定能够达到。 大亚湾核电站总经理刘锡才说，这是高起点起步的结果，是中央英明决策，决定全面引进先进而成熟的百万千瓦级大型商业核电技术和设备，并按国际标准建造和管理的结果，是公司员工坚持创新、追求卓越、赶超世界先进水平长期努力的结果。 美国新