关于中文分词问题数据结构模型的讨论.pdfVIP

第 33卷第 6期 Vo1．33No．6 2O13年 12月 Dec．2013 关于中文分词问题数据结构模型的讨论 张 青 ，李大农 (1．黄冈师范学院数学与计算机科学学院，湖北 黄州 438000； 2．黄冈师范学院 物理与电子信息科学学院，湖北 黄州 438000) 摘 要 在分词工作常用数据结构模型的基础上，提出了字符串完全分词网络模型，讨论了该模型的基本性 a 质，给 出了其 中的路径查找基本算法 。该模型能反映中文分词 问题 自身的特点，便于分析分词 问题 中的统一 黄 m 冈 性质 。利用该模型将全切分 图的生成、修改、路径查找等工作分解为统一平 台上相对独立 的过程 ，能较好地配 合多种常用分词算法，简化对各种算法的研究和描述。该模型与 自然语言理解后续工作使用的数据结构如句 币 m 学范院Nmrgg 法树等也有很好的相似性。 关键词 自然语言处理；中文分词 ；分词网络模型；最大匹配算法 ；最短路径算法 中图分类号 TP3 文献标识码 A 文章编号 1003—8078(2013)06—0072—05 收稿 日期 2013-06—26 doi 10．3969／j．issn．1003—8078．2013．06．19 作者简介 张青，女，湖北黄梅人，博士，教授 ，主要研究方 向为计算智能算法 。 学 V 基金项 目 湖北省 自然科学基金项 目(201lCDcO28)；湖北省教育厅科研计划重点项 目(。 报 y A discussionondatastructuremodelforChinesewordsegmentation ZHANGQing，LIDa-long (1．CollegeofMathematics ComputerScience，HuanggangNormalUniversity，Huangzhou438000，Hubei，China 2．CollegeofPhysics ElectronicInformation。HuanggangNormalUniversity，Huangzhou438000，Hubei，China) Abstract BasedonthedatastructuremodeloftenusedinChineseW ordSegmentation，afullsegmentationnetworkmod— elwasproposed，Thebasicpropertiesofthemodelwerediscussed．Basicalgorithmsforpathsearchinginthismodelwas given．ThismodelcanreflectthecharacteristicsofChinesewordsegmentation，andisconvenientforanalysingsomeuni— liedproperties．Basedonthismodel，taskssuch astheomni— segmentationgraph generation，graphmodification，and pathfinding，canbedecomposedintorelativelyindependentprocesseson anunifiedplatform．Themodelcan matchup wellwithmanycommonlyusedsegmentationalgorithmstosimplifytheresearchanddescriptionofthesealgorithms．The modelalsohassimilaritywithdatastructuresoftenusedinfo