一种组合型中文分词方法-计算机应用与软件.PDF

第２９卷第７期　　　 计算机应用与软件 Ｖｏｌ２９Ｎｏ．７ ２０１２年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１２ 一种组合型中文分词方法 郑晓刚　韩立新　白书奎　曾晓勤 （河海大学计算机与信息学院　江苏南京２１１１００） 摘　要　　设计一种组合型的分词机制：基于字典的双向最大匹配，基于字标注的中文分词方法和隐马尔科夫的分词方式。通过实 验的结果比较，表明该种组合型的分词方法能够较好地解决中文歧义并发现新的登录词。 关键词　　中文信息处理　中文自动分词　组合型分词 中图分类号　ＴＰ３０１　　　　文献标识码　Ａ ＡＣＯＭＢＩＮＡＴＩＯＮＴＹＰＥＣＨＩＮＥＳＥＷＯＲＤＳＥＧＭＥＮＴＡＴＩＯＮＭＥＴＨＯＤ ＺｈｅｎｇＸｉａｏｇａｎｇ　Ｈａｎｌｉｘｉｎ　ＢａｉＳｈｕｋｕｉ　ＺｅｎｇＸｉａｏｑｉｎ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，ＨｏｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１１００，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｃｏｍｂｉｎａｔｉｏｎｔｙｐｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｍｅｃｈａｎｉｓｍ：ｔｈｅｄｉｃｔｉｏｎａｒｙｂａｓｅｄｌａｒｇｅｓｔｔｗｏｗａｙ ｍａｔｃｈｉｎｇ，ｔｈｅｗｏｒｄｔａｇｇｉｎｇｂａｓｅｄＣｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｍｅｔｈｏｄａｎｄｔｈｅｈｉｄｄｅｎＭａｒｋｏｖｓｅｇｍｅｎｔａｔｉｏｎａｐｐｒｏａｃｈ．Ｂｙｃｏｍｐａｒｉｎｇｔｈｅｅｘｐｅｒ ｉｍｅｎｔａｌｒｅｓｕｌｔｓ，ｗｅｆｉｎｄｔｈａｔｔｈｉｓｃｏｍｂｉｎａｔｉｏｎｔｙｐｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｍｅａｎｓｃａｎｂｅｔｔｅｒｓｏｌｖｅｔｈｅＣｈｉｎｅｓｅａｍｂｉｇｕｉｔｙａｎｄｄｉｓｃｏｖｅｒｔｈｅｎｅｗ ｗｏｒｄ． Ｋｅｙｗｏｒｄｓ　　Ｃｈｉｎｅｓｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｉｎｇ　Ｃｈｉｎｅｓｅｗｏｒｄａｕｔｏｍａｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ　Ｃｏｍｂｉｎａｔｉｏｎｔｙｐｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ 方法分词比较简单、便捷，但是无疑存在明显的缺陷，就是可能 ０　引　言 造成歧义和不能识别新词。基于字符串匹配的分词方法首先要 有一个事先准备好的字典，如果在分词的过程中遇到一个字典 分词对于搜索引擎有着很大的作用，是文本挖掘的基础，可以 中没有的词，那么就不能正确切分出来。如果从正向开始来匹 帮助程序自动识别语句的含义，以达到搜索结果的高度匹配，分词 配，当处理“他们在研究生活”这句话，字典里有“研究”、“研究 的质量直接影响了搜索结果的精确度。中文和英文的分词不一样， 生”、“生活”这些常用词时，该句子会被切分为“研究生｜活”，这 在英文中每个词是用空格分开的，不需要进行额外的分词处理，而 就是分词里的歧义现象。 在中文词中，每个句子中的词是没有空格的，需要用分词来处理。 ［１］ １．２　基于统计的分词 比较流行的方法有三个大类 ：１）基于字符串匹配的分词方法；２） 基于统计的分词方法；３）基于理解的分词方法。目前这些方法都 基于统计的分词方法主要应用的是统计量，统计模型［３，４］ ［６］ 已经很成熟，但是成熟并不代表着能够很好地解决中文分词的问 有：互信息、Ｎ元文法模型、神经网络模型 和隐 Ｍａｒｋｏｖ模型 题。歧义的判断和新词的识