中文与分词研究现状.ppt

1 目录 引言 关键问题 ICTCLAS 评测 由字构词 总结 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 2 目录 引言 关键问题 ICTCLAS 评测 由字构词 总结 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 3 Everything is made of particles, so Physics is very important. The World-Wide-Web is made of Language, so Computational Linguistics is very important. —— ACL2007执行委员会主席 Mark Steedman Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 4 中文分词做什么？ 中文以字为基本书写单位，词语之间没有明显的区分标记。 通俗的说，中文分词就是要由机器在中文文本中词与词之间加上标记。 输入： 我是学生。 输出： 我/是/学生/。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 5 英语有词语切分问题吗？ 英语中不是完全没有词语切分问题，不能仅凭借空格和标点符号解决切分问题。 缩写词 N.A.T.O i.e. m.p.h Mr. ATT 连写形式以及所有格结尾 I’m He’d don’t Tom’s 数字、日期、编号 128,236 +32.56 -40.23 02/02/94 02-02-94 带连字符的词 text-to-speech text-based e-mail co-operate 英语中的切分通常被叫做Tokenization。 和中文相比，英语切分问题较为容易。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 6 目录 引言 关键问题 ICTCLAS 评测 由字构词 总结 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 7 中文分词的关键问题 切分歧义消解 未登录词识别 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 8 切分歧义（1） 交集型歧义 对于汉字串AJB，AJ、JB同时成词 例：结合/成，结/合成 组合型歧义 对于汉字串AB，A、B、AB同时成词 例：门/把手/坏/了，请/把/手/拿/开 将来，现在，学生会 混合型歧义 同时包含交集型歧义和组合型歧义 例： 这样的/人/才能/经受住考验 这样的/人才/能/经受住考验 这样的/人/才/能/经受住考验 中文文本中，交集型歧义与组合型歧义出现的比例约为1:22。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 9 切分歧义（2） 真歧义 歧义字段在不同的语境中确实有多种切分形式 例： 地面积 这块/地/面积/还真不小 地面/积/了厚厚的雪 伪歧义 歧义字段单独拿出来看有歧义，但在所有真实语境中，仅有一种切分形式可接受 例： 挨批评 挨/批评（√） 挨批/评（╳） 对于交集型歧义字段，真实文