计算语言学讲义_词法分析(四).pdfVIP

计算语言学 第 6 讲 词法分析（四） 刘群 中国科学院计算技术研究所 liuqun@ 中国科学院研究生院2011 年春季课程讲义 内容提要 计算语言学讲义 (06) 词法分析 ( 四) 2 基于字标注的中文词法分析 • Nianwen Xue and Libin Shen. 2003. Chinese word segmentation as LMR tagging . In Proceedings of the Second SIGHAN Workshop on Chinese Language Processing, in conjunction with ACL’03, pages 176–179, Sapporo, Japan. 计算语言学讲义 (06) 词法分析 ( 四) 3 空挡标注 • 最简单的分词方案，可以理解为： 对句子中每两个汉字之间的空挡判断是 否进行切分 费 0 孝 0 通 1 向 1 人 0 大 1 报 0 告 费孝通 向 人大 报告 计算语言学讲义 (06) 词法分析 ( 四) 4 字标注 • 对每一个汉字进行标注 {B,M,E,S} ： – B ：词首字 – M ：词中字 – E ：词尾字 – S ：单字词 费/B 孝 /M 通 /E 向/S 人 /B 大 /E 报 /B 告 /E 费孝通 向 人大 报告 计算语言学讲义 (06) 词法分析 ( 四) 5 空挡标注与字标注的转换 • 上述两种标注是可以转换的： – 字标注可以通过该字左右的空挡标注得到： • B10 • M00 • E01 • S11 计算语言学讲义 (06) 词法分析 ( 四) 6 更复杂的字标注 • Hai Zhao, Chang-Ning Huang, and Mu Li, An Improved Chinese Word Segmentation System with Conditional Random Field, Proceedings of the Fifth SIGHAN Workshop on Chinese Language Processing (SIGHAN- 5), pp.162-165, Sydney, Australia, July 22-23, 2006 • 采用基于字的六标注集合： B 、 B1 、 B2 、 M 、 E 、 S – 单字词： S – 两字词： BE – 三字词： BB E 1 – 四字词： BB B E 1 2 – 五字词： BB B ME 1 2 – 六字词： BB B MME 1 2 • 问题：六字标注集如何表示为空挡标注？ 计算语言学讲义 (06) 词法分析 ( 四)