词语对齐的快速增量式训练方法研究-罗维.docVIP

词语对齐的快速增量式训练方法研究 NLPCC, 北京, 2012年11月4日 罗维 提纲 ?研究背景 ?研究现状 ?研究方法 ?论文的主要工作 ?基于初始化的增量式训练 ?Online EM算法的应用 ?总结 ?主要参考文献 2 统计机器翻译 ?【学术界】模型朝句法、语义方向发展 ?基于词 ?基于短语 ?基于句法 ?基于语义 ?【产业界】正逐渐走向实用 ?百度翻译、有道翻译、谷歌翻译… 统计机器翻译模型 3 统计翻译模型 ?构建短语/规则翻译表的一般流程 ?注：“解码器”模块省略关于翻译特征的判别式训练的内容。 4 词语对齐 ?词语对齐是翻译模型构建的瓶颈，这是因为 ?主流的翻译模型均依赖大规模双语语料库的词语对齐结果 ?词语对齐需要模型训练，在翻译模型构建中耗时最长 ?词语对齐质量影响机器翻译质量 5 词语对齐 ?词语对齐是翻译模型构建的瓶颈，这是因为 ?主流的翻译模型均依赖大规模双语语料库的词语对齐结果 ?词语对齐需要模型训练，在翻译模型构建中耗时最长 ?词语对齐质量影响机器翻译质量 ?当新增语料时，传统的模型训练方法是合并语料后重 新进行词语对齐模型训练。 5 词语对齐 ?词语对齐是翻译模型构建的瓶颈，这是因为 ?主流的翻译模型均依赖大规模双语语料库的词语对齐结果 ?词语对齐需要模型训练，在翻译模型构建中耗时最长 ?词语对齐质量影响机器翻译质量 ?当新增语料时，传统的模型训练方法是合并语料后重 新进行词语对齐模型训练。其两大不足： ?时间和计算资源的开销较大 ?NIST评测提供的500w平行句对| 曙光5000的计算节点机| 单线程| 4~5天 ?当新数据是与原始数据所在领域不同的数据 ?传统训练方法得到的模型会与新数据上的真实模型存在较大的偏差。 5 提纲 ?研究背景 ?研究现状 ?研究方法 ?论文的主要工作 ?基于初始化的增量式训练 ?Online EM算法的应用 ?总结 ?主要参考文献 6 词语对齐的增量式训练 ?[Wu 2005] ?模型插值 ?应用得到的模型在新数据上生成词语对齐结果 ?[Duh 2011] ?对新数据应用贝叶斯估计生成词语对齐矩阵。 7 提纲 ?研究背景 ?研究现状 ?研究方法 ?论文的主要工作 ?基于初始化的增量式训练 ?Online EM算法的应用 ?总结 ?主要参考文献 8 词语对齐模型 ?采用2个基于无监督学习的模型 ?IBM模型1 [Brown 93] ?基于HMM模型的词语对齐模型[Vogel 96] ?模型的参数训练算法 ?EM算法 9 词语对齐模型的增量式训练 新 数据 原有 数据 训练 新模型 原始模型 训练 10 词语对齐模型的增量式训练 新 数据 原有 数据 训练 新模型 原始模型 训练 10 词语对齐的增量式训练 新 数据 原有 数据 训练 新模型 原始模型 训练 如何用？ 10 词语对齐的增量式训练 新 数据 原有 数据 训练 新模型 原始模型 训练 能否优化？ 10 提纲 ?研究背景 ?研究现状 ?研究方法 ?论文的主要工作 ?基于初始化的增量式训练 ?Online EM算法的应用 ?总结 ?主要参考文献 11 基于初始化的增量式训练 12 新语料 模型参数 识别 基于初始化的增量式训练 12 新语料 模型参数 识别 统计量的 经验初始化 累加原始模型 的统计量 模型参数初始化阶段 对统计量 做归一化 得参数初始值 基于初始化的增量式训练 12 新语料 模型参数 识别 统计量的 经验初始化 累加原始模型 的统计量 IBM模型1 参数训练 HMM模型 参数训练 模型参数初始化阶段 参数迭代训练阶段 对统计量 做归一化 得参数初始值 基于初始化的增量式训练 ?模型 ?参数：词汇化翻译概率t(f| e)，扭曲概率d(aj|aj-1, I) ?参数统计量：频度统计值c(f, e)，c(aj, aj-1, I) 13 基于初始化的增量式训练 ?模型 ?参数：词汇化翻译概率t(f| e)，扭曲概率d(aj|aj-1, I) ?参数统计量：频度统计值c(f, e)，c(aj, aj-1, I) ?为什么用原始模型的参数统计量来初始化，而不 直接用原始模型的参数来初始化？ ?不增加计算复杂度。新语料中出现新的模型参数，如t(fnew| e); ?统一的系统架构。后文的online EM算法，在进行新一轮的迭代时， 需要使用现有的统计量。 13 实验_传统中医 ?平行语料 ?原始数据：来自LDC语料(约125w句对) ?新数据：ctzy语料(约224w句对)，选出70w做增量式实验 ?语言模型 ?在ctzy语料英文端，用srilm工具训练英文端