中文分词技术综述研究.pdf

计算机科学2008V01．35NQ．9A 中文分词技术综述*) 张卫丰张迎周周国强 (南京邮电大学计算机学院 南京210003) 摘要文本分类有助于用户有选择地阅读和处理海量文本，因此其预备工作——分词系统的研究很有意义。汉 语分词是计算机中文信息处理中的难题，也是中文文献内容分析中必须解决的关键问题之一。本文对已有自动分 词方法进行研究，实现对应的分词系统，分析这些方法的分词率和效率。 关键词汉语分词。分词方法，匹配分词，统计分词 onChineseWord Survey SegmentationTechnology ZHANG ZHANG ZHOU Wei—feng Ying-zhouGuo-qiang ofPostsand 20003，China) (ComputerInstitute，Nanjing Telecommunication，Yanjing University Ahstr-dlctTextclassificationcan usershaveachoicetoreadandhandlenK嚼texts．Therefore，the help preparatory workresearchon has word isnot the in segmentationsystem significance．Chinesesegmentationonly problem great also this automatic computerinformation the issuesofChineseliterature processing，butkey analysis．Inpaper，the methodisstudiedandthe isrealized．Thesegmentationrateand segmentation correspondingsegmentationsystem ofthesemethodsisalso efficiency analyzed． Chinese Keywords segmentation，Segmentationmedlod，Matching segmentation segmentation，Statistical 样的水平。因此，关于计算机对自然语言的理解一 1 引言 般是从实用的角度进行评判的，通过对分词技术的 随着信息社会、信息技术的快速发展，中文信息 深入研究，找到高效的分词方法，开发出高质量，多 处理的作用越来越重要，经过几十年来许多学者的 功能的分词系统，必将促进中文信息处理系统的广 不断研究与探索，取得了显著的成就。不过，中文分 泛应用。 词仍然是中文信息处理的瓶颈，许多西文语言能够 本文首先介绍中文自动分词中几种常见分词方 进行计算机处理而对中文的处理能力则差强人意。 法，如正向匹配、反向