藏文数词识别与译.pptVIP

藏文数词识别与翻译 报告人：孙 萌 2012年11月5日 研究背景 藏文是一种具有逻辑格语法体系的拼音文字 藏文分词是藏文信息处理的基础 藏文数词识别与翻译是分词和翻译的难点 藏文的特点和研究的难点 词与词之间没有空格 分词是藏文信息处理必须解决的问题 藏文是拼音文字，拼写形式复杂，具有曲折变化 汉语的一些成熟的分词方法难以直接用于藏文的分词 藏文分词标注语料库规模较少 对分词容错性较高的藏汉翻译方法 藏文数词 阿拉伯数字，比如“2012” 藏文基本数字构件 ?(0), ?(1), ?(2), ?(3), ?(4), ?(5), ?(6), ?(7), ?(8), ?(9) ????(2012) 藏文组合数词是由藏文数词基本构件以一定的规则组合而成 ??????????(35) 研究现状 Huidan Liu提出的基于数词组件分类的藏文数词识别算法 定义6种标签，通过迭代操作修改标签，识别数词 藏文数词组成规律 基本数词构件 基本数词 序数词 分数 单位词 时间词 总体框架 藏文句子 边界识别 基本数词识别与翻译 复杂数词识别与翻译 数词和翻译 基本构件表 最优路径决策 基本数词 规则库 有限自动机 复杂数词 规则库 泛化基本数词 边界识别模型 基数词 数量词 数词前缀 小数点 否定数词 数词后缀 藏文数词构件识别 基本数词识别与翻译模型 举例 藏文数词????????????????????????? ?????(20907) 先进行数词基本构件划分，得到如下序列： ????(前缀词-二) ????(数量词-万) ???? (基数词-九) ?????(数量词-百) ????(数量词-十) ????(否定词-没有) ?????(基数词-七) 依次扫描输入的构件序列，进行状态转移：S--1--2--3--2--2--5--3--E。 复杂数词的识别与翻译模型 序数词：?????X -- 第X届先进行数词基本构件 时间词：X1????????X2????????X3 -- X1年X2月X3日 分数：X1??X2 -- 百分之X2 (subject to X1=100) 单位词：?????X1 -- X1米 数词识别与翻译实验 ? 识别 识别与翻译 准确率 0.9857 0.9845 召回率 0.9920 0.9908 F值 0.9888 0.9873 数词识别与翻译对藏汉翻译的影响 系统 开发集 测试集 层次短语基线系统 0.4263 29.13 +藏文数词识别与翻译 0.4338 31.77 结论 提出三层模型，通过基于最优路径决策的数词构件边界识别模型、基于自动机的基本数词识别与翻译模型和基于泛化变量模板的复合数词识别与翻译模型，使得藏文数词识别与翻译的F值达到98.73%。 谢谢！