中文分词算法研究.pdfVIP

第 29卷第 8期 微 　计 　算 　机 　应 　用 Vo l29 No8 2008年 8月 M ICROCOM PU TER A PPL ICA T ION S A ug2008 中文分词算法研究 刘 　件 　魏 　程 (北京航空航天大学 　经济管理学院　北京 　100083) 摘要 :当前搜索引擎技术被广泛的应用 ,这使得全文检索技术和中文分词技术的研究逐渐深入 。本论文致力于研究中文分词 算法 ,通过实验对分词原理做出比较 ,对分词算法 、词典对分词质量的影响做出判断和评估 ,并设计了分词原型比较实验 , 比 较测评了当前流行的中文分词方式 : 中科院分词模块和最大正向匹配法模块 。 关键词 :全文检索 　中文分词 　查准率 　查全率 　F1参数 A r ithm etic Research on Ch inese Segm en ta tion L IU J ian ,W E I Cheng ( School of Econom ics and M anagem en t, B eihang U n iversity, B eij ing, 100083, Ch ina) A b stract:Cu rrently, the search engine techno logy ha s been w idely u sed, wh ich b rings in - dep th re searche s to fu ll - text search techno l ogy and Ch ine se segm en tation sTh is p ap er is dedicated to the re search of Ch inese word segm entation algorithm , the comp arison w ith al gorithm s through the exp erim ents, analysis of factors to the segm entation effects, and also de sign the exp erim ents to comp are the popu lar Ch ine se word segm en tation s: ICTCLA S and the largest po sitive m atch ing modu leF inally, getting som e conclu sion abou t Ch ine se seg m en tation s Keyword s: fu ll - text search technology, Ch inese segm entation, p recision ratio, recall ration, F1 随着搜索引擎技术的广泛应用 ,全文检索技术和中文分词技术也逐步受到广泛的研究和应用 。然而到 目前为止 ,还没有完全成熟实用的中文分词系统面世 ,这成为严重制约中文信息处理发展的瓶颈之一 。本 文致力于研究中文分词算法 ,通过实验对分词模块的分词效果做出比较 ,对分词算法 、词典对分词质量的影 响做出客观的判断和评估 ,从而为中文分词的进一步发展提供了基础和方向。 1　分词技术综述 11　全文检索技术 所谓全文检索是指计算机索引程序通过扫描文章中的每一个词 ,对每一个词建立一个索引 ,指明该词 在文章中出现的次数和位置 ,当用户查询时 ,检索程序就根据事先建立的索引进行查找 ,并将查找的结果反 馈给用户的检索方式 。在中文文档中根据是否采用分词技术 ,索引项可以是字 、词或词组 , 由此可分为基于 字的全文索引和基于词的全文索引。 基于字的全文索引是指对于文章中的每一个字都建立索引 ,检索时将词分解为字的组合 。对于各种不 同的语言而言 ,字有不同