基于微博内容的新词发现方法.pdf

第27 卷　 第2 期　 　 　 　 　 　 　 　 　 　 　 　 　 模式识别与人工智能　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 Vol.27　 No.2 　 2014年2月　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 PR AI　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 Feb.　 2014 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 基于微博内容的新词发现方法∗ 霍　 帅　 　 张　 敏　 　 刘奕群　 　 马少平 (智能技术与系统国家重点实验室　 北京 100084) (清华信息科学与技术国家实验室(筹)　 北京 100084) (清华大学 计算机科学与技术系　 北京 100084) 摘　 要　 新词发现在自然语言处理领域具有重要意义,在微博内容上的新词发现比在一般语料上更难.文中提出 引入词关联性信息的迭代上下文熵算法,并通过上下文关系获取新词候选列表进行过滤.为进一步提高精度,引入 自然语言处理中的词法特征,提出与统计特征相结合的过滤方法.与现有方法相比,准确率和召回率均有大幅提 高,F-值提高到89.6%. 关键词　 新词发现,上下文熵,未登录词提取 中图法分类号　 TP391.1 New Words Discovery in Microblog Content HUO Shuai,ZHANG Min,LIU Yi-Qun,MA Shao-Ping (State Key Laboratory of Intelligent Technology and Systems,Beijing 100084) (Tsinghua National Laboratoryfor Information Science and Technology,Beijing 100084) (Department of Computer Science and Technology,Tsinghua University,Beijing 100084) ABSTRACT New words discovery is of great significance in the field of natural language processing. It is more difficult to findnewwordsinmicroblogthaninothercorpus. Inthispaper,analgorithmbasedoncontext entropy is proposed, and the new word candidates are filtered based on the context. To improve the precision,lexical features are introduced and an algorithm combining them with term frequency is put forward. Thus,theprecisionrateandtherecallratearegreatly improved,andtheF-measurevalueisup to 89.6%. Key Words　 New Word Discovery,Context Entropy,Unknown Words Extraction 1　 引　 言 方语言,词与词之间有固定的分隔符,因此中文自动 分词往往作为中文信息处理任务最开始的一个重要 在中文信息处理