基于改进TFIDF算法关键词抽取系统.PDFVIP

　 第２５ 卷　 第５ 期 厦门理工学院学报 Ｖｏｌ． ２５　 Ｎｏ． ５ 　 　 ２０１７ 年１０ 月 Ｊｏｕｒｎａｌ ｏｆ Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ Ｏｃｔ． ２０１７ 基于改进ＴＦ⁃ＩＤＦ 算法的关键词抽取系统 胡　 亮， 夏　 磊， 李　 伟 （厦门理工学院计算机与信息工程学院， 福建 厦门３６１０２４ ） ［摘　 要］ 为克服传统ＴＦ⁃ＩＤＦ 概念思想与关键词抽取的逻辑相冲问题， 引入卡方校验的方法优化ＴＦ⁃ ＩＤＦ 算法， 设计了一个包含文件存储、 文本预处理、 度量值计算、 排序抽取和优化输出４ 个流程的关键词 抽取系统。 实验结果表明， 该系统能够很好地完成关键词分类抽取的任务， 可为数据检索、 文本聚类、 摘 要生成等提供基础支持。 ［关键词］ 关键词抽取； ＴＦ⁃ＩＤＦ 算法； 卡方校验 ［中图分类号］ ＴＰ３９１ １　 ［文献标志码］ Ａ　 ［文章编号］ １６７３ － ４４３２ （２０１７ ） ０５ － ００６７ － ０６ 随着互联网的出现和发展， 信息数据通过网络进行存储和共享的方式逐渐成为主流。 如何从庞大 的网络数据库中检索、 分类和过滤出有价值的文本信息数据， 成为了亟待解决的问题［１ － ３ ］ 。 ＴＦ⁃ＩＤＦ 算法作为基于统计的无监督关键词抽取方法， 在快速性、 方便性和领域无关性方面远远优于有监督的 ［４ ］ ［５ － ６ ］ 方法 。 由于其具备普适性、 灵活性和快捷性等特点， 所以被许多专家学者所青睐 。 但是当引入 类别区分后， 传统的ＴＦ⁃ＩＤＦ 的概念思想会与关键词抽取的逻辑相冲［７ － ８ ］ ， 即ＴＦ⁃ＩＤＦ 算法中ＩＤＦ 定义 存在漏洞， 在有类别区分的语料库中不适用。 本文利用了卡方校验的思想对传统的ＴＦ⁃ＩＤＦ 算法进行 改进， 并根据语料资源的规模， 设置各项相关的权重值， 优化最终结果。 １　 算法及其改进 １ １　 ＴＦ⁃ＩＤＦ 算法 ＴＦ⁃ＩＤＦ 算法是基于统计的方法来衡量词或短语在文本信息中的关键性。 它的主要原理： 一个词 在目标文本使用的次数较多， 却在语料库中使用的次数较少， 那么它就能够具备良好的文本区分能 力［９ － １０ ］ 。 某个词在目标文本中的ＴＦ 值指的是该词在这个文本中出现的频率。 在计算这个频率时， 还需对 它归一化， 防止它偏向字数较多的长文本。 计算ＴＦ 值的公式如下所示： ｆ ｉ ，ｊ ＴＦｉ ，ｊ ＝ ｎ 。 （１） ∑ｆ ｉ ，ｊ ｉ ＝ １ 公式 （１） 为词ｉ 在文本ｊ 中的的词频ＴＦｉ 的计算方式， 其中分子内容为词ｉ 在文中出现的次数， 分母 内容为文本ｊ 中所有词的总数。 通过这种词频的计算方法， 有效的防止了词频ＴＦｉ 对较长文本的偏向 性。 除此之外， 还可以采用另一种词频归一化的方法， 如公式 （２ ） 。