中文信息学报基于词汇吸引与排斥模型的共现词提取-Core.PDFVIP

中　文 　信 　息 　学 　报 第 18 卷 第 6 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No6 ( ) 文章编号 :1003 - 0077 2004 06 - 0016 - 07 基于词汇吸引与排斥模型的共现词提取① 郭 　锋 ,李绍滋 ,周昌乐 ,林 　颖 ,李胜睿 ( 厦门大学 计算机与信息工程学院 ,福建 厦门　361005) 摘要 :共现词提取在信息挖掘和自然语言处理中有着十分重要的地位 。而传统的共现词提取方法仅仅局 限在单一的一种统计量上 ,其结果十分不精确 ,需要人工再进行整理 。本文提出了一种基于词汇吸引与排斥 模型的共现词提取算法 ,并通过将多种常用统计量进行组合 ,改进了算法的效果 。在开放测试环境下 ,所提取 的共现词其用户感兴趣度为 6087 % 。将该算法应用于基于 Web 的共现词检索系统 ,在速度和共现词的提取 精度上均取得了比较好的效果 。 关键词 :计算机应用 ; 中文信息处理 ;共现词 ;词汇吸引与排斥模型 ;共现距离 中图分类号 :TP3913 　　　文献标识码 :A Cooccurrence Word Retrieval Based on the Lexical Attraction and Repulsion Model GUO Feng ,LI Shaozi ,ZHOU Changle ,LIN Ying ,LI Shengrui (Computer Science of Department , Xiamen University , Xiamen , Fuj ian 361005 ,China) Abstract : Cooccurrence word retrieval is very important in information mining and natural language processing. But tradi tional cooccurrence word retrieval methods used only a single statistic method , so the result is very imprecise , and needs lots of manual collation . In this paper we present a cooccurrence words extraction algorithm based on the lexical attraction and repulsion model , and combine some common statistical methods with the algorithm to improve its effect . In the open test , our system’s Interesting performance is 60 . 87 %. We show good performance in speed and precision when applied the algorithm on a cooccurrence search system based on web . Key words : computer application ; Chinese information processing ; cooccurrence ; lexical attraction and repulsion model ; cooccurrence distance 1 　引言 当前 ,Internet 作为一个巨大的信息资源库 ,正在以惊人的速度增长着 。为了从这座信息 宝库中获得需要的知识 ,各种信息挖掘技术应运而生 ,而共现词作为其中的一项重要辅助技术 也在不断发展着 。