自然语言处理课程课件5_汉语分词.pdfVIP

汉语自动切分 常宝宝 大学计算语言学研究所 chbb@pku.edu.cn 什么是汉语自动切分？ •汉语书写时词和词之间没有空格 我将出席会议。 I’m going to show up at the Conference. •通过计算机程序把组成汉语文本的字串自动转换 为词串的过程被称为自动切分 鱼在长江中游⇒ 鱼/在/长江/ 中/游 英语中的切分问题 •英语也 仅凭空格和标点符号解决切分问题 1. 缩写词如： N.A.T.O. i.e. m.p.h Mr. ATT 2. 连写形式以及所有格词尾 I’m He’d don’t Tom’s 3. 数字、日期、编号 128,236 +32.56 –40.23 02/02/94 02-02-94 D-4 T-1-A B.1.2 4. 带连字符的词 text-to-speech text-based e-mail co-operate •英语