原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于语料库和网络的新词自动识别
第24 卷第7 期 计算机应用 Vol.24, No.7
2004 年7月 Computer pplications July, 2004
: 1001- 9081(2004)07- 0132- 03
1, 2 1 1
刘建舟 , 何婷婷, 骆昌日
(1. 华中师范大学计算机科学系, 湖北武汉430079; 2. 湖北工业大学信息工程学院, 湖北武汉430068)
(xxzzsof t@sina. com, hett@ 163.net)
: 汉语自 分词是进行中文信息处理的基础目前, 困扰汉语自 分词的一个主要难题就
是新词自 识别, 尤其是非专名新词的自 识别同时, 新词自 识别对于汉语词典的编纂也有着极
为重要的意义文中提出了一种新的新词自 识别的方法这 个方法用到了互信息和loglikelihood
ratio 两 个参数的改进形式主要分三 个阶段完成: 先从网络上下载丰富的语料, 构建语料库; 然后采
用统计的方法进行多字词识别; 最后与已有的词表进行对照, 判定新词
: 抽取多字词; 页面解析; 态语料库
: TP391. 12 :A
Automati c New Words Detection Based on Corpus and Web
1,2 1 1
LIU Jianzhou , HE Tingting , LUO Changri
(1.Department of omp uter Science, Huazhong Normal University, Hubei Wuhan 430079, hina;
2.School of Inf ormation Engineering , Hubei Polytechnic University, Hubei Wuhan 430068, hina)
Abstract: utomatic Chinese segmentation is the basis of Chinese information processing. t present, automatic new word
detection, especially automatic non proper noun detection is a dilemmafor automatic Chinese segmentation. t the same time,
automatic new word detection is very important to thesaurus compiling. This paper presents a new method for new word
detection. It uses two improved parameters: mutual information and loglikelihood ratio. This method mainly consists of three
phrases. First, download adequate web documents and build a corpus; then recognize multiword units by using statistical
method; finally, compare thesewords with the previous word list, so as to decide the new words. Experiments on real corpus
show that the proposedmethod is more efficient and robust.
Key words:
文档评论（0）