一种改进中文分词歧义消除算法研究.pdfVIP

第31卷第10期 合肥工业大学学报(自然科学版) V01．31No．10 OFHEFEIUNIVERSITYTECHNOlLOGY 2008年10月 JOURNAL OF 0ct．2008 一种改进的中文分词歧义消除算法研究 许高建1’2， 胡学钢2， 路遥1， 王庆人1 (1．安徽农业大学信息与计算机学院，安徽合肥230036；2．合肥工业大学计算机与信息学院，安徽合肥230009) 摘要：随着信息技术的飞快发展，今天的互联网上信息已成爆炸式增长，文本挖掘技术成为目前研究的热 点。文章概述了中文分词的算法，通过介绍歧义存在的种类，分析了分词结果歧义性存在的必然性；在中文分 词基础上，提出了一种采用“动词优先”的歧义消除算法，使分词结果最大程度地消除歧义，从而提高了分词的 精度，为文本挖掘之后的环节打下_r基础。 关键词：文本挖掘；中文分词；歧义；歧义消除 中图分类号：TP393 文献标识码：A 文章编号：1003—5060(2008)10-1622-04 onan elimination Study improvedambiguity ofChinesetext algorithm segmentation XU Ya01，WANG Gacrjianl”，HUXue-gangz，LU Qing-renl 8L of and (LSchoolofInformation Agricultural 230036，China；2．SchoolComputerInformation， Computer，AnhuiUniversity，Hefei Hefei of UniversityTechnology，Hefei230009，China) the ofinformation informationonInternethasbeen Abstract：Withrapiddevelopment technology，the increased．Thetext isfocusedonat asahotissue．Thissum— greatly miningtechnology present paper mafizesthe ofChinesetext theintroductionofthekindsofambi— algorithms segmentation．Through the 0ftheexistenceof thebasisofChinesetext analyzesnecessity segmen— guities。it ambiguities．On tation，itoffersanew eliminationbasedonverb meansofthis ambiguity algorithm priority．By algo— to rithm，toeliminate a extentcanbeachieved