- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
自动分词词典机制Ξ
中 文 信 息 学 报
第 15 卷 第 3 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 3
基于 PA TR ICIA t ree 的汉语
自动分词词典机制
杨文峰 陈光英 李 星
(清华大学电子工程系 北京 100084)
摘要 :分词词典是汉语信息处理系统的一个基本组成部分 ,其查询和更新效率将直接影响
汉语信息处理系统的性能 。本文采用 PA TR ICIA t ree 的数据结构 ,设计了一种可以对词典词
条进行快速查询 、更新的分词词典机制 ,并从理论上初步分析了它的性能 。最后通过实验 ,在
时间效率上与逐字二分的分词词典机制进行了比较 。结果表明 ,基于 PA TR ICIA t ree 的分词
词典机制具有更高的查询速度和更新效率 ,能满足大规模 、开放文本处理系统的需求 。
关键词 :信息检索 ;PA TR ICIA t ree ;汉语自动分词
中图分类号 : TP39 1
PATRICIAtreebased Dictionary Mechanism f or
Chinese Word Segmentation
YAN G Wenfeng CHEN Guangying L I Xing
(Dep art ment of Elect ronic Engineering , Tsinghua U niver sit y Beij ing 100084)
Abstract :The dictionary mechanism is t he basic component of Chinese informationp rocessing sys
tems ,and it s efficiency will greatly affect t he performances of t ho se systems. Based on t he dat a
st ruct ure of PA TR ICIA t ree ,t his p aper designed a new PA TR ICIAt reebased dictionary mecha
nism . Fir stly ,t he p aper p resent s t he p rimary function analysis of t his PA TR ICIAt reebased dic
tionary mechanism . Then a comp arison is given between PA TR ICIAt reebased and binaryseek
bycharacter s dictionary mechanism . All t he result s p rove t hat t he PA TR ICIAt reebased dictio
nary mechanism is better t han recentlyused dictionary mechanisms in many aspect s such as t he
efficiency of retireving and modifing t he wor ds and more suit able for t he largescale Chinese text
p rocessing systems.
Key words :information ret rieval ;PA TR ICIA t ree ;Chinese wor d segment ation
收稿 日期 :2000 - 08 - 30
原创力文档


文档评论(0)