中文分词切分技术研究.PDFVIP

维普资讯 CN43-1258／TP 计算机工程与科学 2008年第 3O卷第 5期 ISSN 1007—130X COMPUTERENGINEERING 8LSCIENCE Vo1．30，No．5，2008 文章编号：1007—13OX(2OO8)O5—0126—03 中文分词切分技术研究 ResearchontheW ordCuttingof ChineseW ordSegmentation 徐 飞，孙劲光 XU Fei。SUN Jiwgm~ag (辽宁工程技术大学电子与信息工程学院。辽宁 葫芦岛125105) (SchoolofElectronicsandInformationEngineering。Lianoing TechnicalUniversity。Huludao125105，China) 摘 要：本文分析了现有的基于词典的分词算法，在比较各种算法优缺点的基础上提出了将正向匹配算法与逆向匹配 算法所得到的结果集进行叠加，生成粗分结果集的新观点，再对生成的粗分结果集构造非负权有向图，最后应用最短路径 算法求解有向图。通过Nutch实验验证，该算法较Nutch原始搜索系统提高了其汉语切分的准确性以及切分速度，同时部 分解决了交集型歧义切分问题。 Abstract：Thispaperanalyzestheexistingsegmentationalgorithms，comparesdifferentalgorithmsonthebasisoftheir advantagesanddisadvantages．Thepaperproposesthesuperpositionresultsofpositiveandreversematchingalgorithms， generatesarough-cuttingresult，andconstructsanon-negativerightgraph．Finallyweobtaintherightresultsbyusingthe shortestpathalgorithm．ItisusedinNutch，nadtheresultsshow thatthealgoritmh iseffectiveinimprovingChineseseg— mentation，cuttingaccuracyna dcuttingspeed，M eanwhileapartiM solutiontOtheintersectionoftheambiguitysegmenta— tionproblem isgiven． ‘ 关键词：中文分词；最短路径；叠加运算 Keywords：Chinese-word-semg entation；shortestpath；superposition 中图分类号：TP391．2 文献标识码：A 号分界，在没有一定规则的前提下，计算机很难理解 “姐”和 1 引言 “姐”共同构成一个语意单位。 中文分词是中文 自然语言理解和处理的重要环节，也 2 中文分词技术概述 是一个比较复杂和困难的问题。它是 自动翻译、文本检索、 语音识别、文本校对以及搜索技术中的重要组成部分。分 2．1 中文分词技术中存在的难题 词就是将连续的字符串或序列按照一定的规范重新组合成 如引言中所述，中文 自然语言的理