統计机器翻译系统中传统词典的应用研究.pptVIP

统计机器翻译系统中传统词典的应用研究 曹杰 任志祥 吕雅娟 刘群 {caojie, renzhixiang, lvyajuan, liuqun}@ 中国科学院计算技术研究所 多语言交互技术实验室 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实际系统中动态词典的使用 实验 总结 研究背景 SMT研究不断进步 大量词典资源 如何在SMT中应用词典？ 词典资源分类 词典的分类 普通词典 领域词典 普通词典 中药领域词典 阿拉伯 arab 学生 student 大洋 oceans 代理人 agent 待遇 treatment 党费 party dues 导航 navigation 劳动模范 model labor 羊须草 Hedyotis 苍耳叶 Xanthium 苍耳 Cocklebur 红花 Flos Carthami 地黄 Radix Rehmanniae 田七 Notoginseng 竹黄 Tabasheer 和事草 Welsh Onion 提纲 研究背景 词典在SMT的应用策略 训练部分 解码部分 实用系统中动态词典的使用 实验 总结 训练部分 双语语料 对齐文件 短语表 GIZA++ 短语抽取程序 普通词典 领域词典 解码部分 将词典作为特征融入解码 log-linear模型 解码部分 词典特征：互译句对中含有的词条数目 该产品具有防止糖尿病和脂肪肝等作用 This product is effective in preventing and treating diabetes and fatty liver 词条：糖尿病 diabetes；脂肪肝 fatty liver This product is effective in preventing and treating diabetes and fat liver hdict(c,e) = 2 hdict(c,e) = 1 动态词典的使用策略 一种保健食品，由红花组成，可制成茶的形式 A healty product, in the form of tea, is made from red flower A healty product, in the form of tea, is made from Flos Carthami 动态词典的使用策略 分词后的句子 短语查找 词典查找 短语表 动态词典 本句短语表 本句动态词典 动态短语表生成模块 本句动态短语表 解码 译 文 语言模型 红花 ||| red flower |||… 红花 ||| flower ||| … 红花 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| red flower |||… 红花 ||| flower ||| … 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| red flower |||… 红花 ||| flower ||| … 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 ||| red flower |||… 红花 ||| flower ||| … 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 ||| red flower |||… 红花 ||| flower ||| … 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 ||| Flos Carthami ||| 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 红花 Flos Carthami 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| Flos Carthami ||| 一 种 保健食品 ， 由 红花 组成 ， 可 制成 茶 的 形式 红花 ||| red flower |||… 红花 ||| flower |