基于正反向最大匹配分词系统的实现.pdfVIP

基于正反向最大匹配分词系统的实现.pdf

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于正反向最大匹配分词系统的实现.pdf

2009年第6期 中图分类号 :TP391 文献标识码:A 文章编号 :1009—2552(20o9)06—0124—04 基于正反向最大匹配分词系统的实现 陈明华,殷景华,舒 昌,王明江 (哈尔滨理工大学应用科学学院,哈尔滨 150080) 摘 要:汉语 自动分词技术是中文信息处理的基础课题,目前已成为中文信息处理的关键技术。 本文在对 目前几种分词算法进行研究的基础上,实现了一个基于正反向结合的最大匹配分词系 统,同时又实现了屏幕分词与文件分词两项功能。对于过去单一的分词方式,此系统有利于对 比分词结果,把握分词的准确性。 关键词:中文信息处理;中文分词;最大匹配 A Chineseword segmentationsystem designbasedon forward—backwardmaximum matchingalgorithm CHENMing—hua,YINJing-hua,S删 Chang, GMing—jiang (SchoolofAp#edSciences,HarbinUniversityofScienceandTechnology,Harbin150080,Claim) Abstract:Chinesewordauto-segnentationisthebasicsubjectintheprocessingofChineseinformation, whichhas becomethekeytcehnologyinChmeseinformationprocessing.Accordingtohtestudyon several kindsofsegmentation algorithms,htispaper nitroducesamaximum matching system based on forward— backwardcombination,andachieveshteSCl-eensegmenattionanddocumentseg3nenattion.Comparedwiht hte singlese4~rnenattion in thepast,htesystem can tellhte differentresultsofsegmenattion and improvehte accuracyofsegmentation. Keywords:Chineseinformationprocessing ;Chineseword segmenattion;maximum ma tch 0 引言 析等更高一层的技术领域 J。而相对来讲,中文的 在信息时代迅速发展、逐渐呈现趋势性的今天, 词与词之间是没有分隔符的,单个汉字一般很难单 如何让计算机更好的读懂人类的语言,理解人类的 独表达一定的含义,需要采取一定的技术手段将词 思想,更好的让用户快速准确搜索定位到 自己所需 准确地分离出来,况且单个的字在句子中有时可 以 要的资源 ,越来越成为各行业关注的焦点…。中文 与其前后都能组成词,在不同的语言环境下,它的组 分词技术的产生是中文信息处理质量提高至关重要 词方式也不同。因此若想建立基于词的索引,只有 的因素 J。 越过这个技术瓶颈问题。分词的准确率足够高、分 中文分词是中文信息处理中的一个基础部分。 词速度足够快,中文的信息处理技术才有可能赶上 中文信息处理要从三个层面上对中文进行处理:字、 西文的信息处理技术水平。 词、句。在汉语中,词是承载语义最小的语言单位, 1 几种分词方法 这就好像把英文单词之间的空格都去掉,人们看到 中文分词技术属于 自然语言处理技术范畴,对 的是一片没有意义的字母。只有处理好词层面的问 于一句话,人可以通过 自己的知

您可能关注的文档

文档评论(0)

ziyouzizai + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档