计算语言学词法.pdf

计算语言学 5 第 讲 词法分析（二） 刘群 中国科学院计算技术研究所 liuqun@ict.ac.cn 中国科学院研究生院2009年春季课程讲义 内容提要 计算语言学讲义(05)词法分析(二) 2 内容提要 计算语言学讲义(05)词法分析(二) 3 汉语切分算法 • 基于词典的机械切分算法 – 全切分 – 最大匹配方法 – 最短路径方法 – 基于记忆的交叉歧义排除法 • 基于规则的切分算法 • 基于统计的切分算法 – N元语法 – 最大压缩方法 计算语言学讲义(05)词法分析(二) 4 全切分方法 • 给出所有的切分结果 • 算法（略） • 算法的时间复杂度随着句子长度的增加 呈指数增长 计算语言学讲义(05)词法分析(二) 5 最大匹配方法 (1) • 正向最大匹配（MM） – 自左往右 – 每次取最长词 • 逆向最大匹配（RMM) – 自右往左 – 每次取最长词 • 双向最大匹配 – 依次采用正向和逆向最大匹配 – 如果结果一致则输出 – 如果结果不一致再用其他方法排歧 计算语言学讲义(05)词法分析(二) 6 最大匹配方法 (2) • 优点 – 简单、快速 – 在某些应用场合已经足够 • 缺点 – 单向最大匹配会忽略交集型歧义和组合型歧义 幼儿园 地 节目 ／ 独立自主 和平 等 互利 的 原则 – 双向最大匹配会忽略链长为偶数的交集型歧义和组合 型歧义 原子 结合 成分 子时 ／ 他 从 马上 下来 计算语言学讲义(05)词法分析(二) 7 最短路径方法 • 基本思想： – 在词图上选择一条词数最少的路径 • 算法： – 动态规划算法 • 优点：好于单向的最大匹配方法 – 最大匹配：独立自主 和平 等 互利 的 原则(6) – 最短路径：独立自主 和 平等互利 的 原则(5) • 缺点：忽略了所有覆盖歧义，也无法解决大部 分交叉歧义 – 结合 成分 子时 计算语言学讲义(05)词法分析(二) 8 基于记忆的交叉歧义排除法 • 孙茂松，左正平，邹嘉彦，1999, 高频最大交集型歧义 切分字段在汉语自动分词中的作用，中文信息学报， Vol.13 ，No.1，1999 • 该文考察了一亿字的语料，发现交集型歧义字段的分布 非常集中。其中在总共的22万多个交集型歧义字段中， 高频的4,619个交集型歧义字段占所有歧义切分字段的 59.20% 。而这些高频歧义切分字段中，又有4,279个字 段是伪歧义字段，也就是说，实际的语料中只可能出现 一种切分结果。这样，仅仅通过基于记忆的方法，保存 一种伪歧义切分字段表，就可以使交集型歧义切分的正 确率达到53%，再加上那些有严重偏向性的真歧义字 段，