基于专有名词优先的快速中文分词.pdfVIP

维普资讯 1咎 3 计 算 机 技 术 与 发 展 VcI1．1 【J_3 埘}8年 3J{ 《‘)、l !I—I．It 《’I—IN ／)1』X；Y ^ ljI)EVEl』 lI． i M lr． 2{l0q, 基于专有名词优先的快速 中文分词 梁卓明，陈炬桦 (中山大学 信息科学学院 计算机系，广东广州 510275) 摘 要：中文分词是中文信息处理系统中的～ 重要部分。主题信息检索系统对分词的速度和准确率有特殊的要求。文 中回答了词库建立的词条来源和存储结构两大问题，提出了一种基于专有名词优先的快速中文分词方法：利用首字哈希、 按字数分层存储、二分查找的机制，通过优先切分专有名词，将~-T-N分成碎片，再对碎片进行正反两次机械切分．最后通 过快速有效的评价函数选出最佳结果并作调整。实验证明，该分词方法对主题信息文献的分词速度达 92万字每秒， 准确 率为 96％，表明该分词方法在主题信息文献的分词处理中具有较高性能。 关键词：中文分词；专有名词；词典机制 中图分类号：TP391 文献标识码：A 文章编号：1673—629X(2008)03—0024～04 A RapidChineseW ordSegmentationM ethodBasedon PrioritySpecialNames LIANC,Zhuo-ming。CHEN Juhua (Dept．ofComputerSci．，Sch．ofInfoSei．，ZhongshanUniv，，Guangzhou510275，China) Abstract：Chinesewords．egmentationisakeyoon~ponentofChineseinformationprocessingsystems．Thetopicinfomr ationretrievalsys． ternhasspecialrequirementfortx~thspeedandveracity．mlls~ertWOimportantquestionsforbuildingdictionary：how togetwo rditems andhow toorgna izethem，anddesignarapidChinesewordsegmentationalgorithm basedondictionaryb~sedonspceialnal~e ． Use “first characterHash，storetheitemsaccordingtothewo rd length，andbinarysearchmechna i,,wn，cutthe tenoesbyspecialnan1e。thenbi — dircetoinnmximummatchtosegmenttherest，uesna easybuteffective~-oringfunctiontoselectthebest，nadadjustatlast．Theex． perimnetr~ultshowsthissegmentationmethodcanreachas删 of920000wordspers．econd，nadthecorrectnessratecanreach96％， whichpmves thatthismethodhashighefficiency． Keywords：Chineseword ,segmentation；specialname；dict