基于词语相关度的文档主题抽取算法.pdfVIP

第31卷 第4期 Vo1．3l No．4 2012年 12月 成都大学学报(自然科学版) JournalofChengduUniversity(NaturalScienceEdition) Dec．20l2 文章编号：1004—5422(2012)o4—0367—03 基于词语相关度的文档主题抽取算法 袁晓峰 (盐城师范学院信息科学与技术学院，江苏 盐城 224002) 摘 要：考虑到文档中出现频率较高的词语能够体现文档的主题 ，设计了一种中文文档主题抽取算法．该算法 首先对 目标文档进行预处理，然后计算文档中每个词语的出现频率，用出现频率最高的几个词语作为文档的主 题．其中，将词语间的相关度作为计算出现频率的参考因素．词语相关度的计算是基于中文知识库 《知网》的方 法．实验证明，本算法具有较高的准确性． 关键词：词语相关度 ；出现频率；知网；主题抽取 中图分类号：1P391．1 文献标识码：A 记为 Sirel(．s1，S2)； 0 引 言 ②其他基本义原，可以看成是一个集合，通过 文档主题抽取的研究被广泛应用于搜索引擎、 建立2个集合中元素的对应关系来计算2个集合的 文本聚类等文本 自动处理方面的工作．目前，国内相 相似度，记为 Sire：(S，S)； 关研究集中于字同现频率、语言理解、匹配和统计等 ③关系义原，可以看成是一个特征结构，即 “属 方面n一]．本研究在 《知网》概念描述方法[5的基础 性：值”对的集合，每个 属“性：值”对为一个 “特征”．2 上，着重研究 《知网》中义原在纵向和横向上的关系 个特征之间一一对应关系的建立就转化为对相同“属 结构，以此来计算词语之间的相关度．通过考虑词语 性”对应 “值”的相似度的计算，记为Sire。(．s，S)； 之间相关度，提出一种计算词语出现频率的新算法： ④关系符号描述，其值为一个特征结构，转换 首先对文档进行预处理，剔除停用词；然后计算词语 为2个特征结构的相似度计算 ，记为 Sim (s|，Is)． 之间的相关度，将初始出现频率较低的词归于与之 则 ，概念之间的相似度计算式为， 相关度较高的那些初始出现频率较高的词；最后用 4 i 出现频率较高的词作为文档主题． Sire(S，．s)=∑ ⅡSimj(S，．s) (2) i=1 ，=1 1 词语相关度计算 其中， (1≤i≤4)是可调节的参数，且有， + +岛 + =1，1≥ ≥ ≥ ． 《知网》中的概念是对词汇语义的描述，是用知 这样，词语之间的相似度计算就完全转化为义 识表示语言来描述的，这种 “知识表示语言”所用的 原之间的相似度计算． 词汇称为义原．词语相关度计算需要考虑2个方面： 由于义原可根据上下位关系组织成树状结构的 词语相似度与义原关联度 J． 层次体系，因此通