原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第 27 卷 第 6 期 计 算 机 学 报 Vol. 27 No. 6
2004 年 6 月 CHIN ESE J OURNAL OF COMPU TERS J une 2004
基于无指导学习策略的无词表条件下的汉语自动分词
1) 1) 2)
孙茂松 肖 明 邹嘉彦
1)
(清华大学智能技术与系统国家重点实验室 北京 100084)
2)
(香港城市大学语言资讯科学研究中心 香港)
摘 要 探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法 ,以期对研制开放环境下健壮的分词系统
有所裨益. 全部分词知识源自从生语料库中自动获得的汉字Bigram. 在字间互信息和 t 测试差的基础上 ,提出了一种
将两者线性叠加的新的统计量 m d ,并引入了峰和谷的概念 ,进而设计了相应的分词算法. 大规模开放测试结果显
示 ,该算法关于字间位置的分词正确率为 85. 88 % ,较单独使用互信息或 t 测试差分别提高了 2 47 %和 566 %.
关键词 汉语自动分词 ;无指导学习 ;汉字 Bigram ;互信息与 t 测试的组合
中图法分类号 TP391
Chinese Word Segmentation without Using Dictionary
Based on Unsupervised Learning Strategy
1) 1) 2)
SUN MaoSong XIAO Ming TSOU B K
)
1
( )
N ational Key L aboratory of Intelli gent Technology and Systems , Tsi nghua U niversity , Beiji n g 100084
)
2
( L anguage Inf ormation Sciences Research Cent re , City U niversity of Hong Kong , Hong Kong)
A
文档评论（0）