鲫ffer梳别b啦a删话神∞嘲电脑知识与技术.pdfVIP

ISSN100啦3044 鲫ffer梳别b啦a删话神∞嘲电脑知识与技术 httP：肌‘嗍r．dnzs．net．cn V01．5，No．10，April2009，pp．2605—2607 Tbl．+86—551—56909635690964 中文分词算法概述 龙树全，赵正文。唐华 (西南石油大学计算机科学学院．四川成都610500) 摘要：当前搜索引擎技术被广泛地应用，这使得全文检索技术和中文分词技术的研究逐渐深入。中文分词是中文信息的关键技术之 一。其质量高低直接影响中文信息处理效率。文章致力于研究中文分词算法，对多种中文分词算法、自动分词系统的理论模型进行了 详细的阐述和讨论，为中文分词的进一步发展提供基础和方向。 关键词：中文分词；全文栓索；算法；搜索引擎；歧义切分 中图分类号：TP391．1 文献标识码：A 文章编号：l帅乒3044(2伽19)10-2605-03 overview帅Chine辩se毋nenta6伽AIgorithm LoNG Hua Shu—quan，ZHAoZheng—we玛TANG of scienceaIld Techn0109’r，SouthwestPende啪uIliVe商ty，CheIlgdu p叩amllentComputer 610500，Ch啪 search h船been re记arch器t0缸Ⅱ一te)ct鸵arch widelyuSed，whjch techn0109y Ab吼ract：Currendy．theengilletec王1110109y b血伊iIl—depdl a11d isoneofdle Chitlese a畦ctst11e chille辩卵gmenta石oIls；chiIlesesegmetIcadon keytecllllolo画器ofiI怕m泌iom“direcdyqualit)，of CKnescinforImdon articlededicatedtoResearchonC衄l嚣e desc曲edilIdetailand e伍cienc，r。T11iS Segmen诅don proceSsillg Algorithm discu豁t0somebndsof of foundadonaflddi— Chine跎Se铲nentationAlgorith蛐，Theore血斌modelAuto—Se铲nentation印Stem．Provide rectionfordle of mml盯devel叩memCh血雠se乎I陀ntadom． searck word 1【eywonb：cKne辩se伊nenta曲IlS；f皿一te】【talgorith工Il；鸵archen舀眦；aIn_biguollSsegmen七adon 1引言 自然语言处理是人工智能的一个重要分支。中文分词是中文自然语言处理的一项基础性工作．也是中文信息处理的一个重要 同题。随着搜索引擎技术的广泛应用，全文检索技术和中文分词技术也逐步受到广泛的研究和应用，然而到目前为止，还没有完全 成熟实用的中文分词系统面世，这成为严重制约中文信息处理发展的瓶颈之一。本文致力于研究中文分词算法．通过分词算法对分 词的质量做出客观的判断和评估。从而为中文分词的进一步发展提供基础和方向。 2中文分词技术综述 2．1全文检索技术 所谓全文检索是指计算机索引程序通过扫