命名实体翻译分析与研究.pptVIP

命名实体翻译分析与研究 报告人：陈钰枫 中科院自动化所中文信息处理组 2006.10.17 Outline ? NE （ Named Entity ）翻译概述 ? NE 对齐 ? 组织机构名的翻译研究 ? 参考文献 一、 NE 翻译概述 NE 翻译 各类机器翻译方法 NE 对齐 双语 NE 语料库 双语平行文档语料库 一、 NE 翻译概述 采用各种机器翻译方法的缺陷： ? 翻译结果不够规范 ? NE 中的一些词义是特定的，例如： 风陵渡 —— Fenglingdu —— wind comb cross （×） ? 音译问题 一、 NE 翻译概述 采用 NE 对齐建立词典进行 NE 翻译的缺陷： ? 不够灵活 ? 覆盖面取决于双语语料库的大小 二、 NE 对齐 二、 NE 对齐 ? NE 对齐与 NE 识别的关系 1. 通常 NE 对齐先要分别在两种语言中进行 NE 识别， 然后在识别结果的基础上产生候选翻译对，再 过滤得到对齐结果； 2. 识别和对齐结合在一起进行，或只进行单语识 别； 3. 两个过程交替迭代进行的，以得到较好的对齐 结果和较高的识别精度。 二、 NE 对齐 ? NE 对齐和短语对齐的关系 1. NE 有具体，严格的边界，和 NE 识别的关系 2. NE 对齐一般是完整，不间断 共同问题 : 如何从词对位实现 NE 或短语的对位 二、 NE 对齐 ? NE 对齐和分词的关系 1. 对于汉语来说，识别和对齐之前往往需要进行 词切分； 2. 不进行切分，通过窗口移动直接在句子中得到 候选翻译项 二、 NE 对齐 ? NE 对齐的两个过程： 1. （单语或双语）进行 NE 识别后，从平行 双语句子对中抽取 NE 候选翻译对 2. 将候选翻译对进行过滤，得到最优的 NE 对齐 二、 NE 对齐 ? 在过程 1 中分词和 NE 识别可能引入的错误 : 1. Segmentation error 2. Untagged 3. Partially tagged 4. Tagged with other words as one NE 二、 NE 对齐 解决方法 : ? 用单语 NE 识别代替双语 NE 识别 ? 滑动窗（ An open-end NE alignment window ） 1. 基于双语 NE 识别 : 将已标注为 NE 的词作为中心 , 窗口 向两边扩展 2. 基于单语 NE 识别 : 利用 IBM 模型得到的翻译词表来确 定“锚点”。然后以这些“锚点”为中心，在一定长 度的词窗范围内选取词或词组作为候选命名实体。 二、 NE 对齐 ? 过滤候选翻译对（过程 2 ）： 采用多特征融合的方法，所以一般利用多特征 对齐模型或者最大熵模型等 可用的特征模型： Translation Model Transliteration Model Tagging Model Co-occurrence Model Distortion Model Abbreviation handling …… 三、组织机构名的翻译研究 ? 机构名（ ON, Organization name ）特点： 1 、 ON 的结构最复杂，其中可能包含人名，地名等； 2 、通过 NE 对齐建立翻译词典的方法比较适合人名、地名 的翻译，而对于 粒度大，结构易变 的 ON ，还要抓住其 本质结构； 例如： 中国国际对外科技交流中心 闽台新闻交流联谊会 ? BNF 形式： ON ? {[location name] [organization name] [ordinal number] [person name] [organization type] [other modifier]}* the organization appellation 三、组织机构名的翻译研究 ? 行政管理机构名 主要是从属于国家或地方级别的公共机构，例如国家部 门、省市政府、大学和协会等。这类机构名的组成比较 规则，并且它的组成词大部分是已登录词