基于组合型中文分词技术的改进.pdf

第33卷第6期 南京邮电大学学报(自然科学版) V01．33No．6 of ofPostsand Dec．2013 2013年12月Jo哪alN锄jingunive璐ity Teleco姗unications(Natu阳lScience) 基于组合型中文分词技术的改进 梁胜，成卫青 (南京邮电大学计算机学院，江苏南京210023) 摘要：在分词过程中如何处理歧义切分是中文分词算法要解决的难点之一。文中提出了一种改进的基于词典和 基于统计的组合中文分词算法，能够发现并处理交集型歧义，该算法在发现歧义的过程中没有采取传统的双向匹 配法而是采用双栈的结构，减少了匹配花费时间，并分别采取长词优先和最大概率方法处理一般的交集型歧义和 特殊的同词长交集型歧义。最后通过实例对文中所提出的算法进行实验验证，结果表明该算法比传统的分词算法 有更好的准确率。 关键词：中文信息处理；组合型分词；交集型歧义 中图分类号：7rP391．1；TP391．7文献标志码：A 文章编号：1673．5439(2013)06旬112J06 ofChi]眦∞Word B嬲ed0n hnproVement Se肿entation CombinationMetlmd L认NG Sheng，CHENGWei-qing 0f ofP∞tsaIId (Sch00lConIputer UIliv∞ity 210023，China) Science＆7reclIIlolo盯，N删ing TelecoImunic撕ons，N删ing todeal讲tll inthe isa issue山at Chi· Aki咖ct：How ambiguit)rsegmentationprocessehallen百ng requires neseword tosolveit．This an andstatistics· a190ritllms dictionary segmen谢on p印erproposesimproved b鹊edChinese combinationtllatcaIl solvetlle wo耐se伊nentationalgoritllm discoVery粕dcrossingambigu- dualstacksmlctureratllertllan昀ditionalbidirectionalmetllodtodis— ity．Thisalgoritllmadopts matching cover witllless takes aIIlbiguity matchingtime．Fun}le硼ore，tllea190rimm met}lods“choosinglonger wordwithma菇mum todealwith wordaIld“choosing probabili哆re叩ectively